A equipe de Superalinhamento da OpenAI inova em métodos de controle para IA superinteligente
A equipe de Superalinhamento da OpenAI revoluciona em métodos de controle para IA superinteligente
OpenAI diz que está progredindo em suas capacidades para gerenciar sistemas de IA super inteligentes, de acordo com um recente relatório da ENBLE. A equipe Superalignment, liderada pelo cientista-chefe da OpenAI, Ilya Sutskever, desenvolveu um método para guiar o comportamento dos modelos de IA conforme eles se tornam cada vez mais inteligentes.
A equipe Superalignment, estabelecida em julho, concentra-se no desafio de garantir que a IA permaneça segura e benéfica à medida que se aproxima e ultrapassa a inteligência humana. “A IA geral está se aproximando rapidamente”, disse Leopold Aschenbrenner, pesquisador da OpenAI, para ENBLE. “Vamos ver modelos super-humanos, eles terão capacidades vastas e podem ser muito, muito perigosos, e ainda não temos os métodos para controlá-los.”
O novo artigo de pesquisa da OpenAI apresenta uma técnica chamada supervisão, em que um modelo de IA menos avançado guia o comportamento de um modelo mais sofisticado. Este método visa manter as capacidades do modelo superior, ao mesmo tempo em que garante que ele siga diretrizes seguras e éticas. A abordagem é vista como um passo crucial para gerenciar possíveis IA super-humanas.
Os experimentos envolveram o uso do gerador de texto GPT-2 da OpenAI para ensinar o GPT-4, um sistema mais avançado. Os pesquisadores testaram dois métodos para evitar a degradação do desempenho do GPT-4. O primeiro método envolveu treinar modelos progressivamente maiores, e o segundo adicionou um ajuste algorítmico ao GPT-4. Este último se mostrou mais eficaz, embora os pesquisadores reconheçam que um controle de comportamento perfeito ainda não está garantido.
Resposta da indústria e direções futuras
Dan Hendryks, diretor do Centro de Segurança em IA, elogiou a abordagem pró-ativa da OpenAI no controle de IA super-humanas. O trabalho da equipe Superalignment é visto como um primeiro passo importante, mas mais pesquisas e desenvolvimento são necessários para garantir sistemas eficazes de controle.
- Cruzeiro reestrutura-se com demissões em massa em meio a preocupaçõ...
- Omics Espaciais desbloqueiam insights de comunicação celular
- Funcionalidade de teste do Spotify descoberta via TikTok
A OpenAI planeja dedicar uma parte significativa de sua capacidade de computação ao projeto Superalignment e está chamando para colaborações externas. A empresa, em parceria com Eric Schmidt, oferece 10 milhões de dólares em subsídios para pesquisadores que trabalham em técnicas de controle de IA. Além disso, haverá uma conferência sobre superalignment no próximo ano para explorar ainda mais esta área crítica.
Ilya Sutskever, um dos co-fundadores da OpenAI e uma figura-chave nos avanços técnicos da empresa, co-lidera a equipe Superalignment. Seu envolvimento no projeto é crucial, especialmente após a recente crise de governança na OpenAI. A experiência e liderança de Sutskever são fundamentais para impulsionar o projeto.
O desenvolvimento de métodos para controlar a IA super inteligente é uma tarefa complexa e urgente. Conforme a tecnologia de IA avança rapidamente, garantir sua alinhamento com os valores humanos e segurança se torna cada vez mais crítico. A iniciativa da OpenAI nesta área representa um passo significativo, mas a jornada rumo a sistemas de controle eficazes e confiáveis de IA ainda está em andamento e requer esforços colaborativos da comunidade global de pesquisa em IA.
