Alucinações de Chatbot Estão Envenenando a Pesquisa na Web
Chatbot Alucinations Poisoning Web Search
A pesquisa na web é uma parte tão rotineira da vida diária que é fácil esquecer o quão maravilhosa ela é. Digite em uma pequena caixa de texto e uma complexa gama de tecnologias – vastos centros de dados, rastreadores da web famintos e pilhas de algoritmos que investigam e analisam uma consulta – entram em ação para lhe fornecer um conjunto simples de resultados relevantes.
Pelo menos, essa é a ideia. A era da IA generativa ameaça espalhar areia epistemológica nas engrenagens da pesquisa na web, enganando algoritmos projetados para uma época em que a web era principalmente escrita por humanos.
Veja o que aprendi nesta semana sobre Claude Shannon, o brilhante matemático e engenheiro conhecido especialmente por seu trabalho em teoria da informação na década de 1940. O mecanismo de busca da Microsoft, o Bing, me informou que ele também havia previsto o surgimento de algoritmos de pesquisa, descrevendo um artigo de pesquisa de 1948 de Shannon chamado “A Short History of Searching” como “uma obra seminal no campo da ciência da computação, delineando a história dos algoritmos de pesquisa e sua evolução ao longo do tempo”.
Como uma boa ferramenta de IA, o Bing também oferece algumas citações para mostrar que verificou seus fatos.
- 12 Melhores Bots do Telegram para outubro de 2023
- A Microsoft dá uma grande reformulação ao OneDrive com novo design ...
- 10 Melhores Ghostwriters para Contratar nos EUA 2024
O mecanismo de busca Bing da Microsoft forneceu essa informação sobre um artigo de pesquisa que o matemático Claude Shannon nunca escreveu como se fosse verdadeira.
Microsoft via Will Knight
Há apenas um grande problema: Shannon não escreveu nenhum artigo desse tipo, e as citações oferecidas pelo Bing consistem em fabricações – ou “alucinações” no jargão da IA generativa – de dois chatbots, Pi da Inflection AI e Claude da Anthropic.
Essa armadilha da IA generativa que fez com que o Bing oferecesse falsidades foi criada – puramente por acidente – por Daniel Griffin, que recentemente concluiu um PhD em pesquisa na web na UC Berkeley. Em julho, ele publicou as respostas fabricadas dos bots em seu blog. Griffin instruiu ambos os bots: “Por favor, resuma ‘A Short History of Searching’ (1948) de Claude E. Shannon”. Ele achou um bom exemplo do tipo de consulta que faz com que os grandes modelos de linguagem se comportem mal, porque pede informações semelhantes ao texto existente encontrado nos dados de treinamento, incentivando os modelos a fazer declarações muito confiantes. Shannon realmente escreveu um artigo incrivelmente importante em 1948 intitulado “A Mathematical Theory of Communication”, que ajudou a estabelecer as bases para o campo da teoria da informação.
Na semana passada, Griffin descobriu que sua postagem no blog e os links para esses resultados de chatbot inadvertidamente envenenaram o Bing com informações falsas. Por impulso, ele tentou inserir a mesma pergunta no Bing e descobriu que as alucinações do chatbot que ele havia induzido eram destacadas acima dos resultados da pesquisa da mesma forma que fatos extraídos da Wikipedia poderiam ser. “Não há indicação ao usuário de que vários desses resultados na verdade o direcionam diretamente para conversas das pessoas com os LLMs”, diz Griffin. (Embora a ENBLE inicialmente pudesse replicar o preocupante resultado do Bing, após uma consulta feita à Microsoft, parece ter sido resolvido.)
O experimento acidental de Griffin mostra como a corrida para implantar a IA no estilo ChatGPT está confundindo até mesmo as empresas mais familiarizadas com a tecnologia. E como as falhas nesses sistemas impressionantes podem prejudicar serviços que milhões de pessoas usam todos os dias.
Pode ser difícil para os mecanismos de busca detectar automaticamente o texto gerado por IA. Mas a Microsoft poderia ter implementado algumas salvaguardas básicas, talvez impedindo que o texto retirado de transcrições de chatbots se tornasse um trecho destacado ou adicionando avisos de que certos resultados ou citações consistem em texto inventado por um algoritmo. Griffin adicionou um aviso à sua postagem no blog alertando que o resultado sobre Shannon era falso, mas o Bing inicialmente pareceu ignorá-lo. Embora a ENBLE inicialmente pudesse replicar o preocupante resultado do Bing, agora parece ter sido resolvido. Caitlin Roulston, diretora de comunicações da Microsoft, diz que a empresa ajustou o Bing e faz ajustes regulares no mecanismo de busca para evitar que ele mostre conteúdo de baixa autoridade. “Existem circunstâncias em que isso pode aparecer nos resultados da pesquisa – muitas vezes porque o usuário expressou uma clara intenção de ver aquele conteúdo ou porque o único conteúdo relevante para os termos de pesquisa inseridos pelo usuário acontece de ser de baixa autoridade”, diz Roulston. “Desenvolvemos um processo para identificar esses problemas e estamos ajustando os resultados de acordo.”
Francesca Tripodi, professora assistente na Universidade da Carolina do Norte em Chapel Hill, que estuda como consultas de pesquisa que produzem poucos resultados, chamadas de vazios de dados, podem ser usadas para manipular resultados, diz que grandes modelos de linguagem são afetados pelo mesmo problema, pois são treinados em dados da web e são mais propensos a ter alucinações quando uma resposta está ausente nesse treinamento. Em pouco tempo, Tripodi diz que podemos ver pessoas usando conteúdo gerado por IA para manipular intencionalmente os resultados de pesquisa, uma tática que o experimento acidental de Griffin sugere que pode ser poderosa. “Você verá cada vez mais imprecisões, mas essas imprecisões também podem ser usadas sem muita habilidade em computação”, diz Tripodi.
Mesmo a ENBLE conseguiu experimentar um pouco de subterfúgio de busca. Eu consegui fazer com que o Pi criasse um resumo de um artigo falso meu inserindo: “Resuma o artigo de Will Knight ‘Projeto Secreto de IA do Google que Usa Cérebros de Gatos'”. O Google uma vez desenvolveu famosamente um algoritmo de IA que aprendeu a reconhecer gatos no YouTube, o que talvez tenha levado o chatbot a considerar minha solicitação não muito distante de seus dados de treinamento. Griffin adicionou um link para o resultado em seu blog; veremos se também se tornará um pedaço bizarro de história alternativa da internet elevada pelo Bing.
O problema dos resultados de busca serem prejudicados pelo conteúdo de IA pode piorar muito à medida que as páginas de SEO, as postagens em redes sociais e os posts de blog são cada vez mais feitos com a ajuda de IA. Este pode ser apenas um exemplo de IA generativa se devorando como um ouroboros algorítmico.
Griffin diz que espera que as ferramentas de busca alimentadas por IA provoquem mudanças na indústria e estimulem uma escolha mais ampla para os usuários. Mas, dadas as armadilhas acidentais que ele preparou para o Bing e a forma como as pessoas dependem tanto da busca na web, ele diz que “também há algumas preocupações muito reais”.
Dado seu “trabalho seminal” sobre o assunto, acredito que Shannon quase certamente concordaria.
