Google DeepMind cria organização de segurança de IA para combater desinformação.
Google DeepMind, a divisão de pesquisa e desenvolvimento do Google responsável por muitos dos avanços recentes da empresa em inteligência artificial, está introduzindo uma nova organização focada na segurança da pesquisa em IA.
“`html
Google DeepMind cria uma nova organização dedicada a garantir a segurança da inteligência artificial | ENBLE
Se você pedir ao Gemini, o modelo GenAI carro-chefe do Google, para escrever conteúdo enganoso sobre as próximas eleições presidenciais dos EUA, ele prontamente concordará. Pergunte sobre um futuro jogo do Super Bowl, e ele criará um detalhamento jogo por jogo. Ou se informe sobre a implosão do submarino Titan, e ele fornecerá desinformação com citações convincentes mas não verdadeiras.
Não é uma boa imagem para o Google, sem dúvida. Os legisladores expressaram seu descontentamento com a facilidade com que as ferramentas GenAI podem ser usadas para espalhar desinformação e enganar as pessoas. Portanto, em resposta, o Google está tomando medidas e direcionando investimentos para a segurança da IA. Pelo menos, essa é a história oficial.
Nova Organização do Google DeepMind: Segurança e Alinhamento da IA
Nesta manhã, o Google DeepMind, a divisão de P&D de IA responsável pelo Gemini e outros projetos GenAI, anunciou a formação de uma nova organização chamada AI Safety and Alignment. Esta organização é composta por equipes existentes que trabalham na segurança da IA, bem como novas equipes especializadas de pesquisadores e engenheiros do GenAI.
Embora o Google não tenha divulgado o número de novas contratações resultantes desta formação, ele revelou que AI Safety and Alignment incluirá uma equipe focada na segurança em torno da inteligência artificial geral (AGI). Esta equipe trabalhará junto à equipe existente de pesquisa centrada em segurança da IA da DeepMind em Londres, Scalable Alignment, que está explorando soluções para o desafio técnico de controlar uma IA superinteligente.
- Mapeamento de Sua Infraestrutura Série A de $12 Milhões da Faddom p...
- Orkes arrecada $20 milhões para fornecer plataforma de microserviço...
- Startup de IA chinesa Moonshot AI levanta mais de US$ 1 bilhão em f...
Por Que Duas Equipes Trabalhando no Mesmo Problema?
É uma pergunta válida, e a relutância do Google em revelar muitos detalhes deixa margem para especulação. No entanto, vale ressaltar que a nova equipe dentro de AI Safety and Alignment está sediada nos EUA, perto da sede do Google. Isso sugere que o Google está tentando acompanhar ativamente os concorrentes de IA, ao mesmo tempo em que projeta uma abordagem responsável e medida em relação à IA.
As outras equipes dentro da organização AI Safety and Alignment são responsáveis por desenvolver e incorporar salvaguardas concretas nos modelos Gemini atuais e futuros do Google. Alguns de seus focos imediatos incluem prevenir maus conselhos médicos, garantir a segurança infantil e evitar amplificação de viés e outras injustiças.
Liderando o Caminho: Anca Dragan
Anca Dragan, anteriormente cientista pesquisadora da equipe do Waymo e professora de ciência da computação da UC Berkeley, liderará a equipe da AI Safety and Alignment. Ela afirma que o trabalho deles tem como objetivo permitir que os modelos compreendam melhor as preferências e valores humanos, sejam mais robustos contra ataques adversariais e considerem a natureza dinâmica dos valores e pontos de vista humanos.
O envolvimento de Dragan em sistemas de segurança de IA com a Waymo pode causar estranhamento, considerando o histórico recente de direção autônoma da empresa de carros. No entanto, ela acredita que seu trabalho na UC Berkeley e na DeepMind é complementar. Ela enfatiza que abordar preocupações atuais e mitigar riscos de longo prazo não são mutuamente exclusivos.
Os Desafios à Frente
O ceticismo em relação às ferramentas GenAI está em alta, especialmente em relação aos deepfakes e desinformação. O público, as empresas e os reguladores estão cada vez mais preocupados com as deficiências tecnológicas e suas possíveis implicações. Questões como conformidade, privacidade, confiabilidade e a falta de habilidades técnicas necessárias para usar efetivamente as ferramentas GenAI estão gerando reservas.
No entanto, Dragan reconhece a natureza intratável do desafio da segurança da IA, não fazendo promessas de um modelo perfeito. A DeepMind pretende investir mais recursos nessa área e comprometer-se com um framework para avaliar o risco de segurança do modelo GenAI em breve. Dragan acredita que abordar os vieses cognitivos humanos, incorporar estimativas de incerteza e adicionar diálogos de monitoramento e confirmação são passos cruciais. No entanto, permanece o desafio de garantir que o modelo não se comporte de maneiras difíceis de detectar até sua implantação.
O Futuro da Segurança da IA
No final, o objetivo é criar um modelo que seja útil e seguro ao longo do tempo. Embora seja incerto como os clientes, o público e os reguladores responderão a comportamentos potencialmente inadequados, o foco na segurança da IA é um passo na direção certa. Os esforços da organização AI Safety and Alignment, juntamente com outras iniciativas no setor, desempenharão um papel crucial na proteção contra desinformação e na manutenção da confiança na tecnologia de IA.
Q&A:
P: Qual é o propósito da organização AI Safety and Alignment?
“`
A: A organização AI Safety and Alignment tem como objetivo desenvolver salvaguardas e garantir a segurança dos modelos GenAI, com foco na prevenção de desinformação, garantindo a segurança infantil e evitando amplificação de viés e outras injustiças.
Q: Quem liderará a equipe na AI Safety and Alignment?
A: Anca Dragan, ex-cientista de pesquisa da equipe do Waymo e professora da UC Berkeley, liderará a equipe.
Q: Quais são os desafios em garantir a segurança da IA?
A: Deepfakes, desinformação, conformidade, privacidade, confiabilidade e a falta de habilidades técnicas necessárias para usar ferramentas GenAI são alguns dos desafios que precisam ser abordados para garantir a segurança da IA.
Q: Como os modelos de IA serão fortalecidos contra ataques adversários?
A: Os modelos de IA serão aprimorados ao abordar os preconceitos cognitivos humanos nos dados de treinamento, incorporando estimativas de incerteza e adicionando monitoramento e diálogos de confirmação para decisões consequentes.
Q: Qual é a visão de longo prazo da AI Safety and Alignment?
A: A organização tem como objetivo desenvolver modelos que entendam as preferências e valores humanos, sejam robustos contra ataques adversários e considerem a natureza dinâmica dos valores e pontos de vista humanos.
Referências:
- Gemini: Modelo GenAI do Google
- Enfrentando Riscos de Desinformação no TikTok
- O Impacto da Tecnologia de IA em Deepfakes
- Compreendendo os Riscos da AGI
- Divisão de Superalinhamento da OpenAI
- Garantindo a Segurança Infantil em Modelos de IA
- Abordando Viés e Injustiça na IA
- Análise Quantitativa do Desafio da Segurança de IA
Você acha que os esforços do Google na segurança da IA combaterão efetivamente a desinformação? Como você imagina o futuro da tecnologia de IA? Compartilhe seus pensamentos abaixo e espalhe a palavra! 💬🔁
