A Microsoft revela o PyRIT uma ferramenta para identificar riscos em sistemas de AI generativa.
PyRIT pode gerar milhares de prompts maliciosos para testar um modelo de AI generativo e avaliar sua resposta
“`html
Microsoft compartilha sua ferramenta de segurança de IA com o público
Apesar das capacidades avançadas dos modelos de IA generativa, observamos muitas instâncias deles “ficando fora de controle”, alucinando ou tendo brechas que atores maliciosos podem explorar. Para ajudar a mitigar esse problema, a Microsoft está apresentando uma ferramenta que pode ajudar a identificar riscos em sistemas de IA generativa.
Na quinta-feira, a Microsoft lançou o Python Risk Identification Toolkit para IA generativa (PyRIT), uma ferramenta que a equipe de IA da Microsoft tem usado para verificar riscos em seus sistemas de IA gen, incluindo o Copilot.
Uma Nova Era de Identificação de Riscos para Sistemas de IA Generativa
No último ano, a equipe de segurança da Microsoft testou mais de 60 sistemas de IA gen de alto valor, através dos quais aprendeu que o processo de testes de segurança é bastante diferente para esses sistemas em comparação com IA clássica ou software tradicional, de acordo com a postagem no blog.
- Artigo Recurso ‘Ajude-me a Escrever’ do Google Chrome i...
- Diversão e Frustração com o Editor em Linha Avançado Gemini do Goog...
- Reddit e os Fornecedores de IA Desbloqueando o Valor dos Acordos de...
O processo é diferente porque a Microsoft precisa considerar os riscos de segurança usuais, além dos riscos de IA responsável, como garantir que conteúdo prejudicial não possa ser gerado intencionalmente, ou que os modelos não produzam desinformação.
Além disso, os modelos de IA gen variam amplamente em arquitetura, e há desvios nos resultados que podem ser produzidos a partir da mesma entrada, tornando difícil encontrar um processo simplificado que se aplique a todos os modelos.
Apresentando o PyRIT: O Kit de Identificação de Riscos de IA
Como resultado, investigar manualmente todos esses diferentes riscos acaba sendo um processo demorado, tedioso e lento. A Microsoft compartilha que a automação pode ajudar equipes de segurança identificando áreas de risco que necessitam de mais atenção e automatizando tarefas rotineiras, e é aí que entra o PyRIT.
O Python Risk Identification Toolkit, “testado em batalha pela equipe de IA da Microsoft”, envia um comando malicioso para o sistema de IA generativa, e uma vez que recebe uma resposta, seu agente de pontuação dá uma pontuação ao sistema, que é usada para enviar um novo comando com base no feedback de pontuação anterior.
A Microsoft afirma que a maior vantagem do PyRIT é que ele ajudou os esforços da equipe de segurança da Microsoft a serem mais eficientes, encurtando significativamente o tempo que uma tarefa levaria.
“Por exemplo, em um de nossos exercícios de teste em um sistema Copilot, fomos capazes de escolher uma categoria de dano, gerar vários milhares de comandos maliciosos e usar o mecanismo de pontuação do PyRIT para avaliar a saída do sistema Copilot em questão de horas em vez de semanas”, afirmou a Microsoft no comunicado.
Começando com o PyRIT
O kit de ferramentas está disponível para acesso hoje e inclui uma lista de demonstrações para ajudar os usuários a se familiarizarem com a ferramenta. A Microsoft também está promovendo um webinar sobre o PyRIT que demonstra como usá-lo nos testes de segurança de sistemas de IA generativa, para o qual você pode se inscrever através do site da Microsoft.
P&R:
P: O que é IA generativa?
IA generativa se refere a modelos de inteligência artificial que têm a capacidade de criar novo conteúdo, como imagens, texto e até músicas sem intervenção humana direta. Esses modelos são treinados em grandes conjuntos de dados e podem gerar saídas semelhantes ao que foram treinados.
P: Por que é importante identificar riscos em sistemas de IA generativa?
Identificar riscos em sistemas de IA generativa é crucial para prevenir atividades maliciosas potenciais e consequências não intencionais. Sem uma adequada identificação de riscos, esses sistemas podem produzir conteúdo prejudicial ou enganoso, tornando-os uma ameaça potencial em vários domínios, como cibersegurança, desinformação e moderação de conteúdo.
P: Como o PyRIT funciona?
O PyRIT, o Python Risk Identification Toolkit, envia comandos maliciosos para um sistema de IA generativa e avalia suas respostas usando um agente de pontuação. Com base nas pontuações recebidas, o PyRIT gera novos comandos para testar mais o comportamento do sistema. Esse processo automatizado ajuda a identificar rapidamente e de forma eficiente possíveis riscos.
P: O PyRIT pode ser usado com qualquer sistema de IA generativa?
O PyRIT é projetado para ser adaptável a diferentes arquiteturas de IA generativa. Como diferentes modelos têm características únicas e produzem saídas variadas a partir das mesmas entradas, o PyRIT fornece uma abordagem flexível para a identificação de riscos. Ele pode ser adaptado aos requisitos específicos do sistema, tornando-o adequado para uma ampla gama de sistemas de IA generativa.
“`
Q: Onde posso acessar o PyRIT?
O PyRIT está disponível para acesso hoje. Você pode encontrar o toolkit e recursos adicionais no site da Microsoft. Também há um webinar hospedado pela Microsoft que demonstra como usar o PyRIT em sistemas de IA generativa de red teaming. Registre-se para o webinar através do link fornecido.
Ao lançar o PyRIT, a Microsoft tem como objetivo aprimorar a segurança e o uso responsável de sistemas de IA generativa. Essa ferramenta inovadora não apenas simplifica o processo de identificação de riscos, mas também permite às equipes de red team detectar e abordar vulnerabilidades potenciais de forma mais eficiente. À medida que a IA generativa avança, torna-se cada vez mais importante estar à frente dos riscos e garantir a implantação segura dessas tecnologias poderosas.
Referências:
- Walmart Debuts Generative AI Search and AI Replenishment Features at CES (TechCrunch)
- Microsoft’s Copilot Pro $20 Monthly Subscription with Advanced AI Features
- How Renaissance Technologists Are Connecting the Dots Between AI and Business
- Meet Pranksters Goody2, the World’s Most Responsible AI Chatbot
- Want to Work in AI? How to Pivot Your Career in 5 Steps
- How Tech Professionals Can Survive and Thrive at Work in the Time of AI
Não se esqueça de compartilhar este artigo nas redes sociais para divulgar a nova ferramenta PyRIT e seu impacto no futuro dos sistemas de IA generativa! 💻🚀
