OpenAI reúne equipe de especialistas para combater riscos ‘catastróficos’ da IA – incluindo guerra nuclear
OpenAI reúne equipe de especialistas para prevenir riscos 'catastróficos' da IA - incluindo guerra nuclear
À medida que a IA continua a revolucionar a forma como interagimos com a tecnologia, não há como negar que ela terá um impacto incrível em nosso futuro. Também não há como negar que a IA possui alguns riscos bastante sérios se não for controlada.
Eis que surge uma nova equipe de especialistas reunidos pela OpenAI.
Também: O Google expande o programa de recompensas por bugs para incluir cenários de ataques de IA
Projetada para ajudar a combater o que ela chama de riscos “catastróficos”, a equipe de especialistas da OpenAI – chamada de Preparedness – planeja avaliar modelos atuais e futuros de IA em relação a vários fatores de risco. Esses incluem persuasão individualizada (ou adequação do conteúdo de uma mensagem ao que o destinatário quer ouvir), segurança cibernética geral, replicação e adaptação autônomas (ou seja, uma IA se modificando por conta própria) e até mesmo ameaças de extinção de nível químico, biológico, radiológico e nuclear.
Se a ideia de uma IA começando uma guerra nuclear parece um pouco absurda, lembre-se de que foi apenas no início deste ano que um grupo de principais pesquisadores, engenheiros e CEOs de IA, incluindo o CEO do Google DeepMind, Demis Hassabis, advertiu de forma sombria: “Mitigar o risco de extinção causado pela IA deve ser uma prioridade global juntamente com outros riscos de escala societal, como pandemias e guerra nuclear”.
- Esta nova câmera incorpora detalhes de autenticidade em fotos, mas ...
- A Holanda começa a construir um gasoduto de hidrogênio de €1,5 bilhões
- A ONU cria órgão consultivo de IA para maximizar benefícios para a ...
Como a IA poderia causar uma guerra nuclear? Os computadores estão presentes o tempo todo na determinação de quando, onde e como ocorrem os ataques militares hoje em dia, e certamente a IA estará envolvida. No entanto, a IA é propensa a alucinações e não necessariamente possui as mesmas filosofias que um humano poderia ter. Em resumo, a IA pode decidir que é hora de um ataque nuclear quando não é.
Também: Organizações estão lutando pela adoção ética da IA. Saiba como você pode ajudar
“Acreditamos que os modelos de IA de fronteira, que irão superar as capacidades atualmente presentes nos modelos existentes mais avançados,” afirmou um comunicado da OpenAI, “possuem o potencial de beneficiar toda a humanidade. Mas eles também representam riscos cada vez mais graves.”
Para ajudar a controlar a IA, a OpenAI diz que a equipe se concentrará em três principais questões:
- Quão perigosos são os sistemas de IA de fronteira que temos hoje e os que estão por vir, quando usados de forma intencional de maneira errada?
- Se os pesos do modelo de IA de fronteira forem roubados, o que exatamente um ator mal-intencionado poderia fazer?
- Como podemos construir um conjunto de ferramentas que monitore, avalie, preveja e proteja contra as capacidades perigosas dos sistemas de IA de fronteira?
Encabeçando essa equipe está Aleksander Madry, Diretor do MIT Center for Deployable Machine Learning e um dos líderes do fórum de política de IA do MIT.
Também: A ética da IA generativa: como podemos aproveitar essa poderosa tecnologia
Para expandir suas pesquisas, a OpenAI também lançou o que chama de “Desafio de Preparação para IA” para prevenção de uso catastrófico indevido. A empresa está oferecendo até $25.000 em créditos de API para até 10 principais propostas que publiquem o uso provável, mas potencialmente catastrófico, da OpenAI.
