Hackers quase invadem a cadeia de suprimentos de IA do Hugging Face

Hackers quase conseguem invadir a cadeia de suprimentos de IA da Hugging Face

De acordo com um recente relatório da VentureBeat, um potencialmente devastador ataque cibernético à cadeia de suprimentos, direcionado à líder de IA HuggingFace, foi recentemente evitado. No entanto, o incidente destaca vulnerabilidades persistentes no campo de rápida expansão da IA generativa.

Durante uma auditoria de segurança dos repositórios do GitHub e HuggingFace, pesquisadores da Lasso Security descobriram mais de 1.600 tokens de API comprometidos que poderiam ter permitido que atores de ameaças realizassem um ataque. Com acesso total, os atacantes poderiam ter manipulado modelos de IA populares usados por milhões de aplicativos downstream.

“A gravidade da situação não pode ser exagerada”, afirmou a equipe de pesquisa da Lasso. “Com controle sobre uma organização que possui milhões de downloads, agora temos a capacidade de manipular modelos existentes, potencialmente transformando-os em entidades maliciosas”.

Hugging Face é uma fornecedora líder de modelos pré-treinados e conjuntos de dados.

Como fornecedora líder de modelos pré-treinados e conjuntos de dados para processamento de linguagem natural, visão computacional e outras tarefas de IA, a HuggingFace se tornou um alvo de alto valor. A biblioteca open-source Transformers da empresa hospeda mais de 500.000 modelos, que são utilizados por mais de 50.000 organizações. Os atacantes têm plena consciência de que a adulteração de dados e modelos da HuggingFace poderia ter um impacto desproporcional em várias indústrias que implementam IA.

A auditoria da Lasso concentrou-se em tokens de API, que funcionam como chaves que permitem acesso a modelos proprietários e dados sensíveis. Ao analisar repositórios de código público, os pesquisadores identificaram centenas de tokens expostos, muitos dos quais concedendo acesso de gravação ou privilégios de administrador completo sobre ativos privados. Com controle desses tokens, os atacantes poderiam ter exfiltrado ou corrompido modelos de IA e dados de suporte.

Essas descobertas destacam três áreas de risco emergentes identificadas na nova lista Top 10 de segurança da IA da OWASP: ataques à cadeia de suprimentos, envenenamento de dados e roubo de modelo. À medida que a IA permeia as funções de negócios e governamentais, garantir a segurança da cadeia de suprimentos completa – desde os dados até os modelos e aplicativos – é fundamental.

A Lasso recomenda que empresas como a HuggingFace implementem uma verificação automática de tokens de API expostos, apliquem controles de acesso e incentivem os desenvolvedores a evitar tokens codificados em repositórios públicos. Os tokens individuais também devem ser tratados como identidades e protegidos por meio de autenticação multifator e princípios de confiança zero.

Necessidade de monitoramento contínuo para validar as medidas de segurança.

Para todos os usuários de IA generativa, o incidente reforça a necessidade de validar continuamente as posturas de segurança em todas as superfícies de ataque potenciais. Os atacantes têm incentivos para comprometer a cadeia de suprimentos de IA e, somente a vigilância acrescida não será suficiente para frustrar seus esforços determinados. Manter uma autenticação robusta e implementar controles de privilégio mínimo – até o nível do token de API – é essencial.

Foto em destaque: Foto de Saksham Choudhary; Pexels