LLMs propensos a envenenamento de dados e riscos de injeção imediata, alerta autoridade do Reino Unido
UK authority warns of LLMs prone to data poisoning and immediate injection risks.
O Centro Nacional de Segurança Cibernética (NCSC) do Reino Unido está alertando as organizações para que tenham cuidado com os iminentes riscos cibernéticos associados à integração de Grandes Modelos de Linguagem (LLMs) – como o ChatGPT – em seus negócios, produtos ou serviços.
Em uma série de postagens de blog, o NCSC enfatizou que a comunidade global de tecnologia ainda não compreende totalmente as capacidades, fraquezas e, o mais importante, as vulnerabilidades dos LLMs. “Pode-se dizer que nosso entendimento dos LLMs ainda está em ‘beta'”, disse a autoridade.
Uma das fraquezas de segurança mais amplamente relatadas dos LLMs existentes é a sua suscetibilidade a ataques maliciosos de “injeção de prompt”. Esses ataques ocorrem quando um usuário cria uma entrada com o objetivo de fazer o modelo de IA se comportar de maneira não intencional – como gerar conteúdo ofensivo ou divulgar informações confidenciais.
Além disso, os dados nos quais os LLMs são treinados representam um risco duplo. Em primeiro lugar, uma grande quantidade desses dados é coletada na internet aberta, o que significa que pode incluir conteúdo impreciso, controverso ou tendencioso.
Em segundo lugar, os criminosos cibernéticos não apenas podem distorcer os dados disponíveis para práticas maliciosas (também conhecidas como “envenenamento de dados”), mas também usá-los para ocultar ataques de injeção de prompt. Dessa forma, por exemplo, o assistente de IA de um banco para titulares de contas pode ser enganado para transferir dinheiro para os atacantes.
- As melhores TVs por menos de £500
- Ela sacrificou sua juventude para fazer com que os Tech Bros amadur...
- As melhores TVs por menos de £300
“O surgimento dos LLMs é, sem dúvida, um momento muito empolgante na tecnologia – e muitas pessoas e organizações (incluindo o NCSC) desejam explorá-lo e se beneficiar dele”, disse a autoridade.
“No entanto, as organizações que constroem serviços que usam LLMs precisam ter cuidado, da mesma forma que teriam se estivessem usando um produto ou biblioteca de código que estivesse em beta”, acrescentou o NCSC. Ou seja, com cautela.
A autoridade britânica está instando as organizações a estabelecer princípios de cibersegurança e garantir que mesmo o “pior cenário possível” do que suas aplicações alimentadas por LLMs são permitidas a fazer seja algo com o qual possam lidar.
