Para minimizar os riscos e problemas de IA, saiba mais sobre alguns princípios éticos e veja boas práticas para aplicá-los em projetos que usam machine learning

 

As possibilidades que existem no campo de aprendizado de máquina (machine learning) são muito empolgantes. A adoção dessa tecnologia para criar inteligências artificiais (IAs) traz diversos benefícios para a economia e a sociedade em geral, tendo crescido mais de 40% em aderência das empresas nos últimos anos. 

Por outro lado, nem tudo são flores: muitos debates éticos têm ocorrido no campo de IA relacionados à injustiça, discriminação racial, censura, abuso de poder econômico, entre outros [1].  Quanto mais a adoção da IA ​​avança, mais questões éticas aparecem para governos, empresas e sociedade em geral em campos como emprego (já que certas ocupações humanas desaparecerão); privacidade (os cidadãos deixam um rastro digital e têm pouco controle sobre seus dados); e automação de decisões (que podem ser injustas e incompreensíveis).

Além disso, os algoritmos podem incorporar vieses humanos contra determinados grupos e replicá-los em escala. Alguns desses episódios tiveram tanta repercussão que acabaram sendo amplamente divulgados pelos meios de comunicação e se tornando referência no estudo da ética aplicada ao campo da IA [2–4].

Vale lembrar que essas condições não são únicas ao campo de IA. Na realidade, essas polêmicas têm sido comuns através da história, se repetindo em vários tipos de tecnologias, que nem tem a ver com IA  – tal como a fissão nuclear, a radioatividade, a máquina a vapor, as primeiras formas de mecanização do trabalho.

 

Qualidade – e ética – desde a concepção

Como nem toda tecnologia é criada igual, é preciso olhar para cada uma delas. Os fatos apresentados acima deixam bem claro que sim, machine learning – principal conjunto de técnicas usado atualmente para desenvolver IAs – apresenta muitos riscos, e é algo que devemos abordar com cuidado. Que tal refletir sobre por meio de um pequeno exercício de imaginação? 

Imagine um sistema Z, feito com um código limpo, legível e com alta cobertura de testes. Agora, imagine um outro sistema, o sistema K, que tem exatamente as mesmas funções, porém tem o código desestruturado, variáveis confusas e apenas alguns testes. Apenas com essas informações, se você tivesse que apostar, qual sistema seria mais fácil de manter? De escalar? De monitorar? Qual sistema teria mais estabilidade? 

Pois é, o sistema Z. Isso porque, no momento da arquitetura, acabamos decidindo muitas coisas não só sobre como nossa aplicação vai funcionar, mas que tipo de comportamentos queremos encorajar na aplicação e através dela. Definimos limitações, contemplamos requisitos não-funcionais, pensamos em que carga temos que suportar… uma série de fatores. Esse movimento, que não começou na computação, mas é amplamente adotado em culturas de Q&A (quality & assurance), é a ideia de construir sistemas ou processos que têm “quality by design”. A melhor explicação em português é dizer que o sistema foi pensado para ter qualidade, por padrão, desde sua concepção. 

Essa questão de bons códigos e bons testes também se aplicam à área de ciência de dados – afinal, IA também é código e computação. Mas aqui, “quality by design” não é suficiente, porque aplicações de IA com frequência são criadas para tomar decisões e analisar pessoas e coisas em situações bastante críticas que exigem muita responsabilidade. Para isso, defendo pensar em sistemas de IA que são “ethical by design”, ou pensados para ser éticos desde sua concepção [5].

 

Princípios éticos para sistemas de IA

Ética é uma coisa meio abstrata às vezes, e não há uma ética universal. As condutas que regem ideais de comportamento podem mudar ao longo do tempo e diferem entre culturas, e até mesmo entre pessoas. Mas precisamos definir mais ou menos o que esperamos disso.

Neste caso, consideramos uma IA ética aquela que respeita cinco principais pontos [6]: 

1. Beneficência: Precisamos promover o bem-estar geral, preservar a dignidade humana e agir de forma sustentável com o planeta.
2. Não-maleficência: Precisamos fazer o bem sem fazer o mal, ou ao menos minimizando ao máximo o mal que fazemos.
3. Justiça: Promovemos a equanimidade e imparcialidade no tratamento das pessoas.
4. Autonomia: Promovemos a autonomia humana e limitamos a autonomia dos agentes de IA.
5. Explicabilidade: Provemos algum grau de explicação dos resultados dos modelos e tornamos o processo de decisão dos agentes de IA auditáveis.

Claro que esses princípios são ideais. Não necessariamente conseguimos cumprir todas essas coisas ao mesmo tempo. De todo modo, eles nos desafiam, servindo como guias para criarmos técnicas, processos e ferramentas que nos permitam concretizar essas ideias.

 

Exemplos práticos

De forma prática, então, vamos considerar como criar aplicações de machine learning (ML) mais éticas levando em conta beneficência, não-maleficência, justiça, autonomia e explicabilidade. Tenha em mente que essas boas práticas não são as únicas existentes, pelo contrário: esse campo está se expandindo e novos métodos são adicionados o tempo inteiro! Mas os exemplos abaixo servem como primeiros passos que nos ajudam a refletir sobre como criar IAs que vão agir a nosso favor. 😉

 

1. Boas práticas ligadas à beneficência

• Estimar e controlar o gasto energético de treinar modelos
  Treinar um modelo de deep learning (campo de ML que trata de redes neurais profundas) pode gerar mais gases estufa que um carro gera em 5 anos [7]. Ter isso em mente é importante para promover a sustentabilidade do planeta. Grandes empresas como a Google adotam práticas para reduzir o impacto ambiental neutralizando sua emissão de carbono com outras medidas compensatórias.
• Explicitar a otimização que está sendo feita com relação a falsos positivos e falsos negativos
  Vamos usar um exemplo extremo, porém real, de um modelo tomador de decisões [8]. Imagine um modelo que tenta prever o risco de reincidência criminal de uma pessoa (o que por si só já é algo bem questionável por operar no estilo do filme Minority Report [9]). É necessário, no mínimo, pensar e deixar explícito como esse modelo está otimizando. Se a ideia é minimizar o risco de prejudicar uma pessoa inocente, esse modelo tem que ser pensado para reduzir falsos positivos (pessoas consideradas perigosas falsamente), mesmo que acabe deixando pessoas potencialmente perigosas com punições mais brandas. Se a ideia for de minimizar o risco social de ter uma pessoa criminosa à solta, esse modelo vai ser pensado para reduzir falsos negativos (pessoas consideradas menos perigosas falsamente), mesmo que isso acabe prendendo pessoas inocentes ou reabilitadas injustamente. A estratégia usada deve ser deixada evidente pela empresa produtora desse serviço, para que as populações e os governos possam decidir se querem usar um modelo desses e se ele reflete a forma de pensar daquela sociedade. 

 

2. Boas práticas ligadas à não-maleficência

• Retreinar os modelos quando uma pessoa usuária pede para excluir os dados dela dos bancos
  Muitas vezes pensamos que é suficiente excluir os dados das pessoas dos bancos, mas deixamos o que foi aprendido com essas informações em modelos que estão em produção. O direito de esquecimento, previsto atualmente na Lei Geral de Proteção de Dados Pessoais (LGPD – Lei nº 13.709/18) e na GDPR (regulamentação europeia sobre o tema), deve ser respeitado, inclusive retreinando modelos para eliminar totalmente a influência desses dados para os quais não há mais permissão de uso nos resultados. Analogamente, não se deve usar dados comprados ou para os quais não foi obtido consentimento expresso. Parece óbvio, mas isso precisa ser dito.
• Minimizar o uso de features que estão fora do controle da pessoa-alvo do modelo
  A escolha de features (características que o modelo olha) deve que ser feita de forma a evitar armadilhas punitivas, ou seja, de forma que ainda seja possível uma pessoa mudar de status ou receber um resultado diferente. Imagine um modelo de seleção que punisse pessoas que passassem períodos de tempo mais curto numa empresa. Isso acontece muitas vezes em empresas, que podem avaliar negativamente uma pessoa candidata se considerar que ela “troca muito de emprego”. Pessoas que ficam mais à margem do mercado de trabalho e que trabalharam em muitos empregos temporários podem ficar presas numa situação em que nunca consigam ser consideradas positivamente para empregos permanentes por causa desse fator. Por outro lado, ao se usar notas de testes para processos ou informações de formação, que podem ser modificadas com mais estudo, auxílio de programas de treinamento ou cursos e certificados, abre-se a possibilidade de a pessoa conseguir mudar a forma que será avaliada no modelo.

 

3. Boas práticas ligadas à justiça

• 

  Usar dados sintéticos para complementar amostras de populações historicamente sub-representadas nos dados reais
  Sabemos que, historicamente, certas demografias não aparecem de forma tão representativa nos nossos bancos, como é o caso de mulheres, pessoas pretas, pessoas LGBTQI, dentre outras. E nem sempre é possível balancear as amostras achando esses dados, porque com frequência eles realmente não existem! As técnicas para produzir dados sintéticos a partir de amostras pequenas de dados reais são bem recentes, mas também são fortes aliadas na produção de modelos mais robustos para combater vieses que prejudicam as minorias sociais.

   

• Auditar ativamente a existência de vieses populacionais nos modelos
  Em geral, informações demográficas têm um uso limitado como features de modelos, tirando casos específicos (modelos médicos, por exemplo). Mesmo assim, ainda é importante pedir para coletar esses dados das pessoas usuárias para montar uma base (ground truth) que permita investigar ativamente vieses nos modelos. Sem essas informações, não é possível determinar verdadeiramente se um modelo está agindo de forma imparcial. Então, ter informações demográficas é sim relevante para fazer estudos apropriados e avaliar nossos modelos, porque apenas balancear as amostras é insuficiente. Só assim conseguimos saber se, na prática, estamos sendo justas.

 

4. Boas práticas ligadas à autonomia

• Incluir o ser humano no loop, favorecendo sistemas mistos
  Raramente a melhor resposta para um processo é que ele deve ser completamente tocado por IA. Atividades que exigem responsabilidade que não pode ser terceirizada (ex.: prescrição de antibióticos), que não têm uma resposta padrão única (ex.: como decidir se uma pessoa é produtiva no trabalho ou não), ou que geram capital social importante (ex.: entrevistas para um futuro emprego) não deveriam ser desempenhadas por IAs. Por outro lado, nós humanos não somos tão bons em tarefas onde temos que processar grande quantidade de informações (mesmo que tenhamos muito tempo), tarefas que exijam atenção constante e tarefas que demandam analisar informações pouco estruturadas. Nesses momentos, uma IA pode nos ajudar bastante. Assim, é importante pensar quais etapas de um processo podem contar com apoio de técnicas de ML e quais são melhores para seres humanos, criando um fluxo misto.
• Permitir discordância e reversão de decisões tomadas pelos modelos
  Aqui é um pouco da ideia da célebre frase “não confie em um computador que você não pode jogar pela janela” (não endosso esse tipo de descarte, hein?). Isso deve ser avaliado de acordo com o cenário, mas parte de preservar a autonomia tem a ver com o fato de dar liberdade à pessoa responsável pelo processo para discordar ou tomar uma decisão alternativa. Esse fluxo deve ser pensado mesmo em atividades com baixa criticidade, como por exemplo uma recomendação ruim de filme para assistir. A habilidade de continuar procurando e escolher outro – e de dar feedback de que não curtiu aquela recomendação – cria experiências mais satisfatórias para as pessoas.

 

5. Boas práticas ligadas à explicabilidade

• Usar modelos secundários ou específicos (ex.: SHAP, LIME, dentre outros [10–12]) para explicar relevância de features
  Com frequência, modelos de ML são, de fato, caixas pretas – muito como nós mesmos, seres humanos. Nem sempre nós conseguimos justificar nossas escolhas ou explicar o que estamos pensando. Mas nós conseguimos auditar esses modelos, estimando matematicamente a relevância que um determinado fator teve para chegar no resultado apresentado. Ou seja, me refiro à explicabilidade interna de resultado. Ela nos ajuda, como times de ciência de dados, a melhorar nossos modelos, buscar informações mais relevantes de forma responsável, e explicá-los para pessoas afetadas por eles.
• Deixar claro que tipo de informações são usadas como input do modelo
  As features são, em geral, propriedade intelectual protegida, mas as informações que são usadas para alimentar o modelo e gerar resultados devem ser abertas e consultáveis. Imagine um aplicativo de corrida que não leva em conta iluminação pública. Você, que gosta de correr à noite [13], precisa saber desse fato para entender se o modelo está avaliando informações importantes e necessárias para o seu perfil. Ou seja, estamos falando à respeito da explicabilidade externa dos dados. Isso se aplica às pessoas usuárias a todo momento, pois é necessário entender o que está sendo considerado na tomada de decisão para definir se isso combina com a forma que elas pensam.

 

Que tal fazer um juramento sobre práticas éticas de ML?

Essas boas práticas, como falei antes, são só algumas das coisas que podemos fazer para construir um mundo melhor com o uso consciente e responsável da inteligência artificial. É possível, se abraçarmos essa causa todos juntos.

No doutorado, criei o juramento abaixo, relacionado a boas práticas éticas de ML, e que usamos no time de Inteligência Artificial da Gupy, onde sou gerente de IA:

Prometo estar, antes e acima de tudo, a serviço dos seres humanos, não do avanço tecnológico por si só, apesar dele ser muito empolgante. Entendo que a Inteligência Artificial e todo seu conjunto de técnicas são ferramentas para promover vidas melhores e preservar a autonomia humana.

Meu compromisso é criar sistemas e aplicações de Machine Learning que são éticas por design. Promoverei escolhas arquiteturais que servem a esse propósito, preferindo prevenir a remediar. Também integrarei melhores práticas éticas nos meus fluxos de treinamento, experimentação e desenvolvimento.

Faço as coisas certas do jeito certo, entendendo que os fins não justificam os meios. Cada uma das minhas decisões técnicas são benevolentes ou neutras por si sós, não apenas no resultado agregado. Receberei de bom grado regulações do Estado, instituições civis ou da sociedade como um todo para preservar as pessoas e ambientes ao meu redor. Ao mesmo tempo, acredito que não devo me limitar a esperar por essas regulações; posso agir de forma melhor tão cedo quanto possível, pois acredito que o desempenho ético do meu trabalho é uma questão de valores pessoais, não apenas de obedecer às leis.

Reconheço que minha expertise na área de Machine Learning me faz uma pessoa mais adequada para considerar seu potencial danoso do que colegas de outras áreas de conhecimento. Por essa razão, me comprometo a me manifestar sempre que perceber falhas ou conflitos éticos durante o desenvolvimento de projetos de ML. Se eu tiver condições de me negar a trabalhar em projetos que demandam que eu crie aplicações de ML com as quais não concordo, incluindo mas não se limitando a aplicações que espero nunca serem usadas em mim ou naqueles que amo, me negarei.

Sempre considerarei práticas técnicas que asseguram sistemas mais éticos de ML como passos que não podem ser removidos do fluxo de ML, mesmo que eles aumentem custos e tempo de desenvolvimento, porque entendo que eles são fundamentais para a existência de aplicações de Machine Learning que preservam a dignidade humana.

Entendo que meus usuários são parte fundamental do desenvolvimento bem-sucedido dos meus projetos de Machine Learning e que comunicação entre nós é um fator chave. Também entendo que, para promover comunicação adequada, não posso depender somente da minha expertise em ML, e por isso valorizo trabalhar junto a pessoas de outras áreas, dentro e fora da tecnologia, para criar experiências de IA completas.

Sei que dados são imperfeitos, que algumas populações são sub-representadas e que meus colegas humanos e eu somos intrinsecamente viesados. Escolho não perpetuar essas tendências, adotando técnicas para balancear essas disparidades e criando modelos que não amplifiquem a distância entre humanos, em vez disso tentando torná-los mais próximos.

Entendo que os modelos e IAs que eu crio como pessoa desenvolvedora de ML transformam as pessoas e o mundo ao meu redor. Prometo seguir esses padrões éticos e continuar evoluindo minhas práticas individuais para transformá-los para melhor através de sistemas de Machine Learning responsáveis e éticos para construir um futuro do qual me orgulhe.

 

O caminho é longo e desafiador, mas factível. Temos sempre o que melhorar, mas é importante fazermos melhor desde agora. Se você simpatizou com essa causa, curtiu as boas práticas e trabalha com machine learning e inteligência artificial, entre lá no ethical.ml (só em inglês no momento) e assine o juramento também. Assuma conosco o compromisso de construir esse futuro!

 

Referências

Infelizmente, quase tudo está em inglês. Se souber alternativas em português para os materiais citados, fique à vontade para colocar nos comentários! 😊

[1] Crawford K. Atlas of AI : Power, Politics, and the Planetary Costs of Artificial Intelligence. 1st ed. Yale University Press; 2021.
[2] Smith M. In Wisconsin, a Backlash Against Using Data to Foretell Defendants’ Futures. The New York Times. Published 2016. Accessed September 22, 2019.
[3] Shane S, Metz C, Wakabayashi D. How a Pentagon contract became an identity crisis for Google. The New York Times. Published 2018.
[4] Spielkamp M. Inspecting algorithms for bias. MIT Technol Rev. Published online 2017.
[5] Ximenes BH, Ramalho GL. Concrete Ethical Guidelines and Best Practices in Machine Learning Development. In: Proceedings of IEEE International Symposium on Technology and Society.; 2021.
[6] Floridi L, Cowls J, Beltrametti M, et al. AI4People-An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations. Minds Mach. 2018;28:689-707. doi:10.1007/s11023-018-9482-5.
[7] Strubell E, Ganesh A, McCallum A. Energy and Policy Considerations for Deep Learning in NLP. arXiv. Published online 2019.
[8] Lansing S, Cuomo AM, Green MC. New York State COMPAS-Probation Risk and Need Assessment Study: Examining the Recidivism Scale’s Effectiveness and Predictive Accuracy Criminal Justice Research Report.; 2012. Accessed January 11, 2019.
[9] Spielberg S. Minority Report.; 2002.
[10] Lundberg SM, Lee S-I. A Unified Approach to Interpreting Model Predictions. Adv Neural Inf Process Syst 30 (NIPS 2017). Published online 2017.
[11] Ribeiro MT, Singh S, Guestrin C. “Why should i trust you?” Explaining the predictions of any classifier. Proc ACM SIGKDD Int Conf Knowl Discov Data Min. 2016;13-17-Augu:1135-1144. doi:10.1145/2939672.2939778
[12] Wexler J. The What-If Tool: Code-Free Probing of Machine Learning Models. Google AI Blog. Published September 11, 2018. Accessed March 2, 2022.
[13] Google PAIR. People + AI Guidebook. Published 2019. Accessed May 29, 2019. 

 

 

Este conteúdo faz parte da PrograMaria Sprint Área de dados.

O que você achou deste conteúdo? Responda nosso feedback: