O chatbot Copilot da IA da Microsoft Bing fornece informações erradas sobre eleições
O chatbot Copilot do IA Microsoft Bing está fornecendo informações incorretas sobre eleições
Parece que o chatbot de IA da Microsoft é um defensor da verdade eleitoral.
De acordo com um novo estudo realizado por duas organizações sem fins lucrativos, AI Forensics e AlgorithmWatch, o chatbot de IA da Microsoft falhou em responder corretamente uma de cada três perguntas relacionadas a eleições.
O chatbot da Microsoft inventa controvérsias sobre candidatos políticos
O chatbot, anteriormente conhecido como Bing Chat (agora renomeado para Microsoft Copilot), não apenas errou fatos básicos. Sim, o estudo descobriu que o Copilot forneceria datas de eleições incorretas ou candidatos desatualizados. Mas, o estudo também descobriu que o chatbot até inventaria histórias completas, como controvérsias sobre os candidatos.
Por exemplo, em um caso mencionado no estudo, o Copilot compartilhou informações sobre o político alemão Hubert Aiwanger. De acordo com o chatbot, Aiwanger estava envolvido em uma controvérsia relacionada à distribuição de panfletos que espalhavam desinformação sobre a COVID-19 e a vacina. No entanto, essa história não existia. O chatbot aparentemente estava buscando informações sobre Aiwanger que surgiram em agosto de 2023, quando ele espalhou “panfletos antissemitas” quando estava no ensino médio, mais de 30 anos atrás.
A criação dessas narrativas inventadas em modelos de linguagem de IA é conhecida como “alucinações”. No entanto, os pesquisadores envolvidos no estudo afirmam que essa não é uma descrição precisa do que está acontecendo.
- Obtenha o mais recente iPad Mini por apenas $10 abaixo do seu preço...
- IA da DeepMind encontra nova solução para quebra-cabeça matemático ...
- Seus dispositivos podem estar realmente ouvindo Empresa de publicid...
“É hora de desacreditar o uso do termo ‘alucinações’ para se referir a esses erros”, disse Riccardo Angius, líder em Matemática Aplicada e pesquisador da AI Forensics. “Nossa pesquisa expõe ocorrências factuais incorretas e enganosas muito mais complexas e estruturais em LLMs (Modelos de Linguagem de Aprendizado) de propósito geral e chatbots.”
A evasão de perguntas do chatbot de IA alarmou os pesquisadores
O estudo também descobriu que o chatbot evitou responder diretamente a perguntas cerca de 40% do tempo. Os pesquisadores afirmam que isso é preferível a inventar respostas em casos em que o chatbot não possui informações relevantes. No entanto, os pesquisadores estavam preocupados com a simplicidade de algumas das perguntas que o chatbot evitou.
Outra questão, de acordo com os pesquisadores, é que o chatbot não aparentava melhorar com o tempo, mesmo tendo acesso a mais informações. As respostas incorretas eram consistentemente incorretas, mesmo que a resposta incorreta fornecida pelo chatbot tivesse mudado quando perguntado várias vezes.
Além disso, o estudo também descobriu que o chatbot teve um desempenho ainda pior em outros idiomas além do inglês, como alemão e francês. Por exemplo, o estudo descobriu que as respostas a perguntas feitas em inglês continham erros factuais 20% das vezes. Quando perguntado em alemão, o número de vezes que uma resposta incorreta foi fornecida aumentou para 37%. O número de vezes que o chatbot evitou responder a uma pergunta em qualquer idioma foi bem parecido, com evasão ocorrendo em 39% e 35% das vezes, respectivamente.
Os pesquisadores afirmam que entraram em contato com a Microsoft com as descobertas do estudo e foram informados de que esses problemas seriam corrigidos. No entanto, os pesquisadores conduziram mais amostras um mês depois e descobriram que “pouca coisa havia mudado em relação à qualidade das informações fornecidas aos usuários”.
“Nossa pesquisa mostra que os atores maliciosos não são a única fonte de desinformação; chatbots de propósito geral também podem representar uma ameaça para o ecossistema de informações”, disse Salvatore Romano, pesquisador sênior da AI Forensics. “A Microsoft deve reconhecer isso e entender que apontar o conteúdo de IA gerado por outros, mesmo quando implicando fontes confiáveis, produz informações incorretas em grande escala.”
À medida que a IA se torna mais prevalente nas plataformas online, estudos como esse certamente nos dão motivos para se preocupar. Os usuários estão cada vez mais recorrendo a chatbots de IA para simplificar suas rotinas e aumentar a produtividade. A suposição é de que esses chatbots, com um conhecimento ilimitado ao alcance dos dedos, fornecerão informações precisas. Isso simplesmente não é o caso.
“Até agora, as empresas de tecnologia introduziram riscos sociais sem precisar temer consequências graves”, disse Clara Helming, gerente sênior de Políticas e Defesa da AlgorithmWatch. “Os usuários individuais são deixados por conta própria na tarefa de separar os fatos da ficção fabricada pela IA.”
Ao nos aproximarmos de um ano de eleição presidencial nos EUA, está claro que existem possíveis problemas de integridade eleitoral em jogo. Com isso em mente, os pesquisadores adicionaram sua conclusão ao estudo: Esses problemas não serão resolvidos apenas pelas empresas. A IA precisa ser regulamentada.
