Nova técnica faz com que alucinações da IA acordem e enfrentem a realidade
Nova técnica desperta as alucinações da IA e as confronta com a realidade
Os chatbots têm uma propensão alarmante para gerar informações falsas, mas apresentá-las como precisas. Esse fenômeno, conhecido como alucinações de IA, tem diversos efeitos adversos. Na melhor das hipóteses, limita os benefícios da inteligência artificial. Na pior das hipóteses, pode causar danos reais às pessoas.
À medida que a IA geradora entra no mainstream, os alarmes estão tocando mais alto. Em resposta, uma equipe de pesquisadores europeus tem se dedicado a experimentar soluções vigorosamente. Na semana passada, a equipe apresentou uma solução promissora. Eles dizem que podem reduzir as alucinações de IA para porcentagens de um dígito.
O sistema é uma criação da Iris.ai, uma startup sediada em Oslo. Fundada em 2015, a empresa desenvolveu um mecanismo de IA para compreender textos científicos. O software analisa grandes quantidades de dados de pesquisa, os analisa, classifica e resume.
Os clientes incluem a Autoridade de Alimentos da Finlândia. A agência governamental usou o sistema para acelerar a pesquisa sobre uma potencial crise de gripe aviária. De acordo com a Iris.ai, a plataforma economiza 75% do tempo de um pesquisador.
O que não economiza tempo é a alucinação de IA.
- Ainda é possível aproveitar o secador de cabelo Dyson Supersonic pe...
- Adquira o Google Pixel Watch pelo menor preço de todos os tempos, e...
- Faça espaço Bing Image Creator! Google anuncia nova ferramenta de g...
“A chave é fornecer respostas que correspondam ao que um especialista humano diria.”
Os modelos de linguagem grandes (LLMs) de hoje são conhecidos por fornecer informações sem sentido e falsas. Inúmeros exemplos dessas saídas surgiram nos últimos meses.
Às vezes, as imprecisões causam danos à reputação. No lançamento da demo do Bing AI da Microsoft, por exemplo, o sistema produziu uma análise cheia de erros do relatório de ganhos da Gap.
Em outras vezes, as saídas errôneas podem ser mais prejudiciais. O ChatGPT pode emitir recomendações médicas perigosas. Analistas de segurança temem que as alucinações do chatbot possam até mesmo injetar pacotes de código malicioso nos desenvolvedores de software.
“Infelizmente, os LLMs são tão bons em expressar que é difícil distinguir alucinações de texto gerado factualmente válido”, diz Victor Botev, CTO da Iris.ai. “Se esse problema não for superado, os usuários dos modelos terão que dedicar mais recursos para validar as saídas do que para gerá-las.”
As alucinações de IA também estão prejudicando o valor da IA na pesquisa. Em uma pesquisa da Iris.ai com 500 profissionais de P&D corporativos, apenas 22% dos entrevistados disseram confiar em sistemas como o ChatGPT. No entanto, 84% deles ainda usam o ChatGPT como sua principal ferramenta de IA para apoiar a pesquisa. Eek.
Essas práticas problemáticas estimularam o trabalho da Iris.ai com relação às alucinações de IA.
Verificação de fatos da IA
A Iris.ai usa vários métodos para medir a precisão das saídas da IA. A técnica mais crucial é validar a correção factual.
“Mapeamos os principais conceitos de conhecimento que esperamos ver em uma resposta correta”, diz Botev. “Em seguida, verificamos se a resposta da IA contém esses fatos e se eles vêm de fontes confiáveis.”
Uma técnica secundária compara a resposta gerada pela IA à “verdadeira” verificada. Usando uma métrica proprietária chamada WISDM, o software pontua a similaridade semântica da saída da IA com a verdade real. Isso abrange verificações sobre os tópicos, estrutura e informações-chave.
Outro método examina a coerência da resposta. Para isso, a Iris.ai garante que a saída incorpore assuntos relevantes, dados e fontes para a pergunta em questão, em vez de entradas não relacionadas.
A combinação de técnicas cria uma referência para a precisão factual.
“A chave para nós não é apenas fornecer qualquer resposta, mas fornecer respostas que correspondam ao que um especialista humano diria”, diz Botev.
Sob as capas, o sistema Iris.ai aproveita os gráficos de conhecimento, que mostram as relações entre os dados.
Os gráficos de conhecimento avaliam e demonstram as etapas que um modelo de linguagem percorre para chegar a seus resultados. Essencialmente, eles geram uma cadeia de pensamentos que o modelo deve seguir.
A abordagem simplifica o processo de verificação. Ao solicitar que a função de chat do modelo divida as solicitações em partes menores e exiba as etapas corretas, os problemas podem ser identificados e resolvidos.
A estrutura até mesmo pode fazer com que o modelo identifique e corrija seus próprios erros. Como resultado, uma resposta coerente e correta em termos factuais pode ser produzida automaticamente.
“Precisamos desmembrar o processo de tomada de decisão da IA.
A Iris.ai agora integrou a tecnologia em um novo recurso de chat, que foi adicionado à plataforma Researcher Workspace da empresa. Em testes preliminares, o recurso reduziu as alucinações da IA para uma porcentagem de apenas um dígito.
O problema, no entanto, não foi completamente resolvido. Embora a abordagem pareça eficaz para pesquisadores na plataforma Iris.ai, o método será difícil de escalar para modelos de linguagem de grande popularidade. De acordo com Botev, os desafios não surgem da tecnologia, mas dos usuários.
Quando alguém faz uma busca de IA no Bing, por exemplo, eles podem ter pouco conhecimento sobre o assunto em que estão investigando. Consequentemente, podem interpretar erroneamente os resultados que recebem.
“As pessoas se auto diagnosticam erroneamente doenças o tempo todo ao pesquisar seus sintomas online”, diz Botev. “Precisamos ser capazes de desmembrar o processo de tomada de decisão da IA de forma clara e explicável.
O futuro das alucinações da IA
A principal causa das alucinações da IA são problemas nos dados de treinamento. Recentemente, a Microsoft apresentou uma solução inovadora para o problema. O novo modelo Phi-1.5 da empresa é pré-treinado em dados de “qualidade de livros didáticos”, que são gerados de forma sintética e filtrados de fontes da web.
Em teoria, essa técnica mitigará as alucinações da IA. Se os dados de treinamento forem bem estruturados e promoverem o raciocínio, haverá menos espaço para um modelo alucinar.
Outro método envolve a remoção de viés dos dados. Para fazer isso, Botev sugere treinar um modelo na linguagem de programação.
Atualmente, muitos modelos de linguagem populares são treinados em uma variedade diversa de dados, desde romances e artigos de jornais até documentos legais e postagens em redes sociais. Inevitavelmente, essas fontes contêm viéses humanos.
Na linguagem de programação, há um foco muito maior na razão. Isso deixa menos espaço para interpretação, o que pode guiar os modelos de linguagem para respostas factualmente corretas. Por outro lado, isso poderia dar aos programadores um poder potencialmente aterrorizante.
“É uma questão de confiança.
Apesar de suas limitações, a metodologia da Iris.ai é um passo na direção certa. Ao usar a estrutura do grafo de conhecimento, transparência e explicabilidade podem ser adicionadas à IA.
“Um entendimento mais amplo dos processos do modelo, além de uma expertise externa adicional com modelos de caixa-preta, significa que as causas raiz das alucinações em diversos campos podem ser identificadas e enfrentadas mais cedo”, diz Botev.
O CTO também é otimista em relação aos avanços externos nesse campo. Ele destaca as colaborações com os fabricantes de modelos de linguagem para construir conjuntos de dados maiores, inferir gráficos de conhecimento a partir de textos e preparar métricas de autoavaliação. No futuro, isso deverá resultar em reduções adicionais nas alucinações da IA.
Para Botev, o trabalho serve a um propósito crucial.
“Em grande medida, é uma questão de confiança”, diz ele. “Como os usuários podem aproveitar os benefícios da IA se não confiarem no modelo que estão usando para obter respostas precisas?”
