Como identificar vieses de injustiça adotados por um algoritmo de IA e o que fazer para minimizar e mitigar este problema

Antes de mais nada, é essencial reconhecer que o pontapé inicial para possibilitar a busca por uma Inteligência Artificial (IA) mais justa está relacionado com a vontade e comprometimento das pessoas que estão envolvidas na construção desses sistemas. Em geral, ninguém tem a intenção consciente de replicar injustiças por meio dos algoritmos, mas, muitas vezes, a falta de atenção e reflexão sobre a questão da justiça (ou fairness, em inglês) pode levar a resultados indesejados (veja exemplos de problemas potenciais nas referências 1 a 5, indicadas no final deste artigo).

Partindo do princípio de que a construção de uma IA que realiza tomadas de decisão cada vez mais éticas ocorre de maneira intencional, surgem algumas dúvidas sobre que caminho percorrer para viabilizar esse processo. Vamos discutir quatro pontos que podem ajudar nessa construção, não tão simples, de uma IA justa. São eles:

1. Entender a partir de que o modelo de IA aprende
2. Definir o que é “ser justo”
3. Definir formas de identificação de injustiça
4. Definir estratégias para evitar padrões excludentes

Além desses pontos, vamos discutir um pouco sobre as promessas relacionadas ao uso de causalidade associada ao tema de fairness.

O que modelos de IA aprendem?

A IA é uma tecnologia que se baseia na busca por (micro)padrões e conexões entre dados para aprender. A premissa subjacente é que a IA seja capaz de replicar os padrões encontrados, agindo como um espelho reflexivo do conhecimento adquirido. Por meio de algoritmos, a IA é capaz de explorar vastas quantidades de informações, identificando tendências sutis e relações complexas entre os dados.

Essa capacidade de aprendizado e replicação dos padrões é fascinante e poderosa. Ao entender como a IA opera, podemos vislumbrar a maneira como a sociedade pensa e como processamos informações. A IA nos oferece uma oportunidade única de obter insights profundos sobre nossos próprios padrões comportamentais, percepções e interações sociais.

O que é ser justo?

Aqui, de maneira simplificada, exploraremos a noção de justiça como a busca pela igualdade entre todos os cidadãos. A compreensão da justiça em um contexto de IA requer uma análise cuidadosa dos grupos socialmente desprivilegiados, considerando diversos recortes que podem influenciar suas experiências e oportunidades na sociedade. Alguns desses recortes incluem gênero, raça/cor, faixa etária, orientação sexual, local de origem e identidade de gênero.

Quando aplicamos a inteligência artificial para tomar decisões ou fazer previsões, é essencial garantir que o tratamento seja equitativo para todos os grupos. Desejamos que a taxa na qual cada um dos grupos recebe um determinado resultado seja comparável, de modo a evitar discriminações e garantir a justiça na utilização dessas tecnologias.

Imagine um cenário onde, de maneira implícita ou explícita, o sistema de IA classifica sempre de forma positiva apenas as pessoas brancas, homens, pessoas cisgêneras e outros grupos já favorecidos socialmente. Isso seria claramente injusto e perpetuaria desigualdades existentes na sociedade.

Além disso, transparência e explicabilidade são fundamentais. Os sistemas de IA devem ser projetados de maneira que suas decisões sejam compreensíveis e explicáveis, permitindo que os indivíduos afetados compreendam o processo de tomada de decisão e tenham a possibilidade de questionar ou contestar decisões discriminatórias.

Como detectar possíveis vieses de injustiça?

O racional por trás da detecção de possíveis vieses de injustiça na IA está intrinsecamente ligado ao conceito de justiça discutido no contexto de IA. É fundamental assegurar que o algoritmo não apresente um desempenho diferente com base nos recortes de diversidade que estão sendo analisados. A busca pela equidade é essencial para garantir que a IA seja aplicada de forma imparcial e justa, promovendo a igualdade de oportunidades para todos os grupos.

Dessa forma, uma abordagem simplificada para detectar possíveis cenários de injustiça consiste em dividir os dados em dois grupos de análise: o grupo socialmente privilegiado (por exemplo, gênero masculino) e o grupo socialmente não privilegiado (por exemplo, gênero não masculino). A partir dessa separação, são calculadas métricas apropriadas ao contexto e à natureza dos dados para avaliar se o modelo apresenta desempenho desigual entre essas categorias.

Ao examinar essas métricas e resultados, podemos identificar indícios de viés e injustiça presentes no modelo de IA. Isso permite a avaliação de perguntas cruciais, como: “O modelo comete mais erros prejudicando o grupo socialmente não privilegiado?” ou “O modelo atribui pontuações melhores ao grupo socialmente privilegiado?”.

Temos um viés, o que fazer agora?

 Não existe uma fórmula mágica para resolver um problema de viés identificado em um algoritmo de IA. Lidar com vieses requer uma abordagem multifacetada e consciente das nuances envolvidas. Portanto, o que podemos fazer é trabalhar com um conjunto de estratégias para tentar minimizar e mitigar o viés identificado. Abaixo estão algumas dessas estratégias:

• Não considerar, para o treinamento da IA, variáveis que contenham informações sensíveis, como gênero, idade, raça, orientação sexual, entre outras. Ao remover essas variáveis, buscamos evitar que a IA desenvolva decisões discriminatórias com base em características pessoais
• Avaliar as métricas de desempenho do modelo para penalizar mais os erros que prejudiquem grupos socialmente não privilegiados. Isso significa que o algoritmo será incentivado a ter um olhar mais cauteloso para erros atrelados ao grupo desfavorecido
• Não treinar algoritmos de IA com dados que já apresentem padrões de injustiça. Ao utilizar dados que possuem viés, corremos o risco de perpetuar desigualdades e preconceitos existentes na sociedade
• Acompanhar métricas de justiça durante o treinamento do modelo para auxiliar na tomada de decisão em relação à escolha do melhor modelo, assim como as métricas de desempenho são consideradas. Isso permitirá que as pessoas desenvolvedoras da IA tenham uma visão clara do impacto do algoritmo em diferentes grupos e possam tomar decisões informadas
• No caso de algoritmos de similaridade textual, considerar apenas o radical das palavras, sem distinção de gênero ou outras características sensíveis. Isso ajuda a garantir que o processamento de linguagem natural não introduza viés nas análises feitas pela IA
• Se possível, trabalhar por uma mudança de comportamento social que implicará em um padrão mais justo dos dados a serem replicados pela IA. Esse esforço envolve educar e conscientizar a sociedade sobre a importância da igualdade e inclusão, o que pode levar a uma mudança nas percepções e atitudes refletidas nos dados usados pelos algoritmos

Essas estratégias não são exaustivas, mas representam um ponto de partida para abordar o desafio de vieses na IA. É fundamental que os desenvolvedores e pesquisadores continuem a aprimorar e expandir essas abordagens, trabalhando em conjunto com especialistas em ética, direitos humanos e outras áreas relevantes.

Vamos falar sobre causalidade

Dentre as possíveis ferramentas que podem ajudar a identificar e reduzir vieses em modelos, tem se destacado a inferência causal no contexto de justiça. Quando falamos de causalidade, não estamos apenas olhando para a simples correlação entre variáveis (que pode acontecer por acaso), mas, sim, buscando entender as relações de causa e consequência.

Essa abordagem nos permite responder com mais certeza a perguntas como: “Ser mulher é a causa de o algoritmo tomar uma decisão desfavorável em relação à pessoa?”, ou “Qual é o efeito real do gênero na tomada de decisão do algoritmo?” Também podemos analisar se o gênero é a causa de outra variável que, por sua vez, influencia a decisão do algoritmo.

A maioria dos estudos de causalidade desenvolvidos com relação à justiça algorítmica abordam o problema a partir do que chamamos de um Grafo Direcionado Acíclico (DAG). Um DAG é uma espécie de mapa que informa como todas as variáveis avaliadas pelo modelo estão relacionadas numa perspectiva de causa e efeito (responde perguntas do tipo: “qual variável causa o quê?”). No geral, as abordagens existentes assumem que essas relações de causa e efeito são conhecidas e que o interesse está apenas em metrificar a intensidade delas. Mas, na realidade, nem sempre sabemos de antemão a estrutura exata desse “mapa”, e é justamente aí que pode residir o interesse principal.

Quando não se tem conhecimento prévio da estrutura desse DAG é possível utilizar métodos de descoberta causal para tentar encontrar essas relações a partir de dados observacionais. No entanto, esse é um processo bastante complexo e cheio de suposições fortes que não são possíveis de verificar. Isso é bastante problemático, uma vez que toda a análise de causalidade é realizada tomando como base o DAG definido e pequenos erros nessa definição podem ter um impacto significativo nas conclusões obtidas.

Apesar das promessas e do potencial interpretativo dos estudos de causalidade, ainda precisamos ter muitos conhecimentos prévios sobre o contexto do problema. O ferramental estatístico nem sempre é suficiente para resolver o problema sem a ajuda de especialistas no assunto. Sendo assim, ainda há muito a ser estudado e desenvolvido no campo da inferência causal para facilitar sua aplicação, difusão e utilização prática no processo de construção de uma IA mais justa.

Considerações finais

Lembre-se que, por fim, justamente pela IA ser um espelho da sociedade é que a construção e manutenção de uma IA justa é um processo em que é necessário estar sempre vigilante. Somente com um esforço coletivo e contínuo poderemos avançar rumo a um futuro em que a IA seja verdadeiramente justa e inclusiva para todos. Devemos acompanhar não só a performance de assertividade do modelo, mas também o desempenho com relação a aspectos éticos do algoritmo desde o momento inicial da construção do modelo.

É importante desenvolver tecnologia, é importante facilitar o dia a dia das pessoas, mas é ainda mais importante ter sempre em mente o papel social que a tecnologia desenvolvida desempenha e o impacto que pode ter na sociedade. A busca pela justiça na IA é um desafio contínuo e complexo, mas é essencial para garantir que essas tecnologias sejam utilizadas de maneira ética e responsável, contribuindo para a construção de uma sociedade mais igualitária e inclusiva.

Para saber mais / Referências:

1. A Microsoft criou uma robô que interage nas redes sociais – e ela virou nazista. Disponível em: https://revistagalileu.globo.com/blogs/buzz/noticia/2016/03/microsoft-criou-uma-robo-que-interage-nas-redes-sociais-e-ela-virou-nazista.html
2. Os computadores são racistas? Disponível em: https://epoca.oglobo.globo.com/vida/experiencias-digitais/noticia/2016/05/maquinas-viraram-racistas.html
3. Machine Bias. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
4. Inteligência Artificial e a perpetuação do racismo. Disponível em: https://infobase.com.br/inteligencia-artificial-e-a-perpetuacao-do-racismo/
5. Levantamento revela que 90,5% dos presos por monitoramento facial no brasil são negros. Disponível em: https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros/
6. Amazon desiste de ferramenta de recrutamento que penalizava mulheres. Disponível em: https://www1.folha.uol.com.br/tec/2018/10/amazon-desiste-de-ferramenta-de-recrutamento-que-penalizava-mulheres.shtml
7. Rahmattalabi, A.; and Xiang A. 2022. Promises and Challenges of Causality for Ethical Machine Learning. Disponível em: https://arxiv.org/abs/2201.10683

Este conteúdo faz parte da PrograMaria Sprint Dados: ampliando as fronteiras.