Golpistas usaram o ChatGPT para lançar um botnet de criptomoedas em X

Fraudsters used ChatGPT to launch a cryptocurrency botnet in X

O ChatGPT pode revolucionar a pesquisa na web, simplificar tarefas de escritório e transformar a educação, mas o chatbot falante também encontrou trabalho como um vigarista de criptomoedas nas mídias sociais.

Pesquisadores da Universidade de Indiana Bloomington descobriram uma botnet alimentada pelo ChatGPT operando no X – a rede social anteriormente conhecida como Twitter – em maio deste ano.

A botnet, que os pesquisadores chamam de Fox8 por causa de sua conexão com sites de criptomoedas que carregam alguma variação do mesmo nome, consistia em 1.140 contas. Muitas pareciam usar o ChatGPT para criar posts em mídias sociais e responder aos posts uns dos outros. O conteúdo gerado automaticamente parecia destinado a atrair humanos desavisados a clicar em links que levam a sites que promovem criptomoedas.

Micah Musser, um pesquisador que estudou o potencial da desinformação impulsionada por IA, diz que a botnet Fox8 pode ser apenas a ponta do iceberg, dado o quão populares modelos de linguagem grandes e chatbots se tornaram. “Isso é o mais fácil”, diz Musser. “É muito, muito provável que para cada campanha que você encontre, existam muitas outras fazendo coisas mais sofisticadas.”

A botnet Fox8 pode ter sido extensa, mas seu uso do ChatGPT certamente não era sofisticado. Os pesquisadores descobriram a botnet pesquisando na plataforma a frase reveladora “Como um modelo de linguagem de IA…”, uma resposta que o ChatGPT às vezes usa para prompts sobre assuntos sensíveis. Eles então analisaram manualmente as contas para identificar aquelas que pareciam ser operadas por bots.

“A única razão pela qual notamos essa botnet em particular é porque eles foram descuidados”, diz Filippo Menczer, professor da Universidade de Indiana Bloomington, que conduziu a pesquisa com Kai-Cheng Yang, um estudante que se juntará à Universidade Northeastern como pesquisador pós-doutoral no próximo ano acadêmico.

Apesar disso, a botnet postou muitas mensagens convincentes promovendo sites de criptomoedas. A aparente facilidade com que a inteligência artificial da OpenAI foi aparentemente usada para a fraude significa que chatbots avançados podem estar executando outras botnets que ainda não foram detectadas. “Qualquer vilão bastante bom não cometeria esse erro”, diz Menczer.

A OpenAI ainda não respondeu a um pedido de comentário sobre a botnet até o momento da publicação. A política de uso de seus modelos de IA proíbe o uso deles para golpes ou desinformação.

O ChatGPT e outros chatbots de ponta usam o que são conhecidos como grandes modelos de linguagem para gerar texto em resposta a um prompt. Com dados de treinamento suficientes (muitos deles coletados de várias fontes na web), poder computacional suficiente e feedback de testadores humanos, bots como o ChatGPT podem responder de maneiras surpreendentemente sofisticadas a uma ampla gama de entradas. Ao mesmo tempo, eles também podem proferir mensagens odiosas, exibir preconceitos sociais e inventar coisas.

Uma botnet baseada em ChatGPT configurada corretamente seria difícil de ser detectada, mais capaz de enganar os usuários e mais eficaz em manipular os algoritmos usados para priorizar o conteúdo nas mídias sociais.

“Ela engana tanto a plataforma quanto os usuários”, diz Menczer sobre a botnet alimentada por ChatGPT. E, se um algoritmo de mídia social perceber que uma postagem tem muito engajamento – mesmo que esse engajamento seja de outras contas de bots – ele mostrará a postagem para mais pessoas. “É exatamente por isso que esses bots se comportam dessa maneira”, diz Menczer. E governos que buscam realizar campanhas de desinformação provavelmente já estão desenvolvendo ou implantando tais ferramentas, acrescenta ele.

Pesquisadores há muito tempo se preocupam que a tecnologia por trás do ChatGPT possa representar um risco de desinformação, e a própria OpenAI adiou o lançamento de um precursor do sistema devido a esses medos. No entanto, até o momento, existem poucos exemplos concretos de grandes modelos de linguagem sendo usados indevidamente em grande escala. Algumas campanhas políticas já estão usando IA, com políticos proeminentes compartilhando vídeos deepfake projetados para difamar seus oponentes.

William Wang, professor da Universidade da Califórnia, Santa Barbara, diz que é empolgante poder estudar o uso criminoso real do ChatGPT. “Os resultados deles são muito interessantes”, diz ele sobre o trabalho do Fox8.

Wang acredita que muitas páginas de spam são geradas automaticamente agora, e diz que está se tornando mais difícil para os humanos identificarem esse material. E, com a IA melhorando cada vez mais, isso só vai ficar mais difícil. “A situação é bem ruim”, diz ele.

Em maio, o laboratório de Wang desenvolveu uma técnica para distinguir automaticamente o texto gerado pelo ChatGPT da escrita humana real, mas ele diz que é caro implantá-la porque usa a API da OpenAI, e observa que a IA subjacente está constantemente melhorando. “É um tipo de problema de gato e rato”, diz Wang.

O X poderia ser um terreno fértil para essas ferramentas. Menczer diz que bots maliciosos parecem ter se tornado muito mais comuns desde que Elon Musk assumiu o que então era conhecido como Twitter, apesar da promessa do magnata da tecnologia de erradicá-los. E ficou mais difícil para os pesquisadores estudarem o problema devido ao aumento acentuado no preço do uso da API.

Alguém em X aparentemente derrubou a botnet Fox8 depois que Menczer e Yang publicaram seu artigo em julho. O grupo de Menczer costumava alertar o Twitter sobre novas descobertas na plataforma, mas eles não fazem mais isso com X. “Eles não são muito receptivos”, diz Menczer. “Eles realmente não têm pessoal suficiente.”