Algoritmos em breve vão governar sua vida – e arruiná-la, se forem treinados incorretamente
Em breve, os algoritmos serão responsáveis por governar sua vida - e podem arruiná-la se forem treinados de maneira inadequada.
Algo está acontecendo no design de modelos de IA agora mesmo que – a menos que seja corrigido em breve – pode ter consequências desastrosas para nós humanos, de acordo com um experimento recente realizado por uma equipe interuniversitária de cientistas da computação da Universidade de Toronto (UoT) e do Massachusetts Institute of Technology (MIT).
Todos os modelos de IA precisam ser treinados com grandes quantidades de dados. No entanto, há relatos de que a maneira como isso está sendo feito é profundamente falha.
Também: A ética da IA generativa: como podemos aproveitar essa tecnologia poderosa
Dê uma olhada ao seu redor e veja as muitas formas importantes e pequenas em que a IA já se infiltrou na sua existência. A Alexa lembra de seus compromissos, bots de saúde diagnosticam sua fadiga, algoritmos de sentenciamento sugerem tempo de prisão e muitas ferramentas de IA já começaram a analisar empréstimos financeiros, para citar apenas algumas.
Imagine daqui a uma década quando praticamente tudo o que você fizer tiver um algoritmo como porteiro.
- Austrália orienta empresas a aplicar atualizações de segurança crít...
- Meu relógio esportivo favorito da Garmin de todos os tempos está co...
- Este painel solar à prova d’água EcoFlow de 160W foi reduzido...
Portanto, quando você enviar sua candidatura para um aluguel de casa ou empréstimo, ou estiver esperando ser selecionado para um procedimento cirúrgico ou um emprego para o qual você é perfeito – e for repetidamente rejeitado para todos eles – pode não ser apenas uma série misteriosa e infeliz de má sorte.
Em vez disso, a causa desses resultados negativos pode ser que a empresa por trás dos algoritmos de IA fez um trabalho ruim no treinamento deles.
Especificamente, como esses cientistas (Aparna Balagopalan, David Madras, David H. Yang, Dylan Hadfield-Menell, Gillian Hadfield e Marzyeh Ghassemi) destacaram em seu recente artigo na Science, os sistemas de IA treinados em dados descritivos inevitavelmente tomam decisões muito mais duras do que os humanos tomariam.
A menos que corrigidos, esses resultados sugerem que tais sistemas de IA podem causar estragos em áreas de tomada de decisão.
Treinando na névoa
Em um projeto anterior que se concentrou em como os modelos de IA justificam suas previsões, os cientistas mencionados anteriormente perceberam que os humanos no estudo às vezes davam respostas diferentes quando eram solicitados a atribuir rótulos descritivos versus normativos aos dados.
Reivindicações normativas são afirmações que dizem o que deve ou não deve acontecer (“Ele deveria estudar muito mais para passar no exame.”). O que está em jogo aqui é um julgamento de valor. Reivindicações descritivas focam no ‘é’ sem opinião anexada. (“A rosa é vermelha.”)
Também: A IA pode ser criativa e ética quando aplicada humanamente
Isso intrigou a equipe, então eles decidiram investigar mais a fundo com outro experimento; desta vez eles juntaram quatro conjuntos de dados diferentes para testar diferentes políticas.
Um deles foi um conjunto de dados de imagens de cães usado para uma regra hipotética do apartamento contra a entrada de cães agressivos.
Os cientistas então reuniram um grupo de participantes do estudo para atribuir rótulos “descritivos” ou “normativos” nos dados em um processo que espelha o treinamento de dados.
Aqui é onde as coisas ficaram interessantes.
Aos rotuladores descritivos foi solicitado que decidissem se certas características factuais estavam presentes ou não – como se o cão era agressivo ou estava desleixado. Se a resposta fosse “sim”, então a regra era essencialmente violada – mas os participantes não tinham ideia de que essa regra existia ao opinarem e, portanto, não estavam cientes de que sua resposta poderia expulsar um cão infeliz do apartamento.
Também: Organizações estão lutando pela adoção ética da IA. Veja como você pode ajudar
Enquanto isso, outro grupo de rotuladores normativos foi informado sobre a política que proíbe cães agressivos e, em seguida, pediram para julgar cada imagem.
Acontece que os humanos têm muito menos probabilidade de rotular um objeto como uma violação quando estão cientes de uma regra e muito mais propensos a registrar um cachorro como agressivo (embora sem saber) quando solicitados a rotular as coisas descritivamente.
A diferença também não foi pequena. Os rotuladores descritivos (aqueles que não conheciam a regra do apartamento, mas foram solicitados a opinar sobre a agressividade) inadvertidamente condenaram 20% mais cães à prisão canina do que aqueles que foram perguntados se a mesma imagem do cachorro violava a regra do apartamento ou não.
O caos das máquinas
Os resultados desse experimento têm sérias implicações para praticamente todos os aspectos de como os humanos vivem, especialmente se você não faz parte de um subgrupo dominante.
Por exemplo, considere os perigos de um “loop de aprendizado de máquina”, onde um algoritmo é projetado para avaliar candidatos de doutorado. O algoritmo é alimentado com milhares de candidaturas anteriores e – sob supervisão – aprende quem são os candidatos bem-sucedidos e quem não são.
Ele então destila a aparência de um candidato bem-sucedido: notas altas, pedigree de universidade de ponta e raça branca.
Também: O novo bot de IA de Elon Musk tem atitude – mas apenas para esses assinantes X
O algoritmo não é racista, mas os dados alimentados a ele são tendenciosos de tal maneira que perpetuam ainda mais a mesma visão distorcida “onde, por exemplo, pessoas pobres têm menos acesso a crédito porque são pobres; e porque têm menos acesso a crédito, elas permanecem pobres”, diz o estudioso jurídico Francisco de Abreu Duarte.
Hoje, esse problema está por toda parte.
Por exemplo, a ProPublica informou sobre como um algoritmo amplamente utilizado nos EUA para sentenciar réus indicaria falsamente que réus negros têm o dobro da probabilidade de reincidir em comparação aos réus brancos, mesmo que todas as evidências fossem contrárias, tanto no momento da sentença quanto nos anos seguintes.
Há cinco anos, a pesquisadora do MIT Joy Buolamwini revelou que os algoritmos do laboratório da universidade são usados globalmente, mas não conseguiam detectar um rosto negro, incluindo o dela. Isso mudou apenas quando ela usou uma máscara branca.
Também: IA na borda: Tempos rápidos para 5G e Internet das Coisas
Outros vieses, contra gênero, etnia ou idade, são comuns na IA – mas há uma grande diferença que os torna ainda mais perigosos do que o julgamento humano enviesado.
“Eu acredito que a maioria dos pesquisadores de inteligência artificial/aprendizado de máquina assume que os julgamentos humanos nos dados e rótulos são tendenciosos, mas esse resultado está dizendo algo pior”, diz Marzyeh Ghassemi, professora assistente do MIT em Engenharia Elétrica e Ciência da Computação e no Instituto de Engenharia e Ciência Médica.
“Esses modelos nem mesmo estão reproduzindo julgamentos humanos já tendenciosos porque os dados nos quais estão sendo treinados têm uma falha: os humanos rotulariam as características das imagens e do texto de maneira diferente se soubessem que essas características seriam usadas para um julgamento”, acrescenta ela.
Na verdade, eles estão entregando veredictos que são muito piores do que os vieses sociais já existentes, o que torna o processo relativamente rudimentar de rotulagem de conjuntos de dados de IA uma bomba-relógio se feito de maneira inadequada.
