A IA está se tornando mais poderosa, mas também mais secreta
A Inteligência Artificial está cada vez mais poderosa, porém também mais sigilosa
Quando a OpenAI publicou detalhes sobre o impressionante modelo de linguagem de IA, o GPT-4, que alimenta o ChatGPT, em março, seus pesquisadores encheram 100 páginas. Eles também deixaram de fora alguns detalhes importantes – como qualquer coisa substancial sobre como foi realmente construído ou como funciona.
Isso não foi um descuido acidental, é claro. A OpenAI e outras grandes empresas estão dispostas a manter o funcionamento de seus algoritmos mais valiosos envoltos em mistério, em parte por medo de que a tecnologia possa ser mal utilizada, mas também por preocupações de dar vantagem aos concorrentes.
Boletim informativo Fast Forward da ENBLEWill Knight
- Grupos Cripto Gemini, Genesis e DCG processados em $1.1 bilhão por ...
- O DALL-E 3 da OpenAI já está disponível para usuários do ChatGPT Pl...
- Relatórios Bancários mostram que o Consumidor dos EUA Permanece Forte
Um estudo divulgado por pesquisadores da Universidade de Stanford nesta semana mostra o quão profundo e potencialmente perigoso é o segredo em torno do GPT-4 e de outros sistemas de IA de ponta. Alguns pesquisadores de IA com quem conversei dizem que estamos no meio de uma mudança fundamental na forma como a IA é desenvolvida. Eles temem que isso torne o campo menos propenso a avanços científicos, reduza a responsabilidade e prejudique a confiabilidade e segurança.
A equipe de Stanford analisou 10 sistemas de IA diferentes, principalmente grandes modelos de linguagem como os que estão por trás do ChatGPT e de outros chatbots. Esses incluem modelos comerciais amplamente utilizados como o GPT-4 da OpenAI, o semelhante PaLM 2 do Google e o Titan Text da Amazon. O relatório também pesquisou modelos oferecidos por startups, incluindo o Jurassic-2 da AI21 Labs, o Claude 2 da Anthropic, o Command da Cohere e o Inflection-1 do criador de chatbot Inflection.
Eles examinaram também modelos de IA “de código aberto” que podem ser baixados gratuitamente, em vez de acessados exclusivamente na nuvem, incluindo o modelo de geração de imagens Stable Diffusion 2 e o Llama 2, que foi lançado pela Meta em julho deste ano. (Como a ENBLE já mencionou antes, esses modelos muitas vezes são nem tão abertos como parecem.)
A equipe de Stanford avaliou a transparência desses modelos em 13 critérios diferentes, incluindo o quão transparente o desenvolvedor foi em relação aos dados usados para treinar o modelo – por exemplo, divulgando como eles foram coletados e anotados e se incluem materiais protegidos por direitos autorais. O estudo também procurou por divulgações sobre o hardware usado para treinar e executar um modelo, os frameworks de software utilizados e o consumo de energia do projeto.
Em todos esses critérios, os pesquisadores descobriram que nenhum modelo atingiu mais de 54% em sua escala de transparência. No geral, o Titan Text da Amazon foi considerado o menos transparente, enquanto o Llama 2 da Meta foi considerado o mais aberto. Mas até mesmo um modelo “de código aberto” como o Llama 2 foi considerado bastante opaco, pois a Meta não divulgou os dados utilizados em seu treinamento, como esses dados foram coletados e curados, nem quem realizou o trabalho.
Nathan Strauss, porta-voz da Amazon, afirmou que a empresa está revisando atentamente o índice. “A Titan Text ainda está em prévia privada e seria prematuro avaliar a transparência de um modelo de base antes que esteja pronto para disponibilidade geral”, diz ele. A Meta se recusou a comentar sobre o relatório de Stanford e a OpenAI não respondeu a um pedido de comentário.
Rishi Bommasani, um estudante de doutorado em Stanford que trabalhou no estudo, diz que isso reflete o fato de que a IA está se tornando mais opaca mesmo enquanto se torna mais influente. Isso contrasta grandemente com o último grande boom na IA, quando a abertura ajudou a impulsionar grandes avanços em habilidades, incluindo reconhecimento de fala e imagem. “No final dos anos 2010, as empresas eram mais transparentes sobre suas pesquisas e publicavam muito mais”, diz Bommasani. “Essa é a razão pela qual tivemos o sucesso do aprendizado profundo.”
O relatório de Stanford também sugere que os modelos não precisam ser tão secretos por motivos de concorrência. Kevin Klyman, pesquisador de políticas em Stanford, diz que o fato de uma série de modelos líderes pontuarem relativamente alto em diferentes medidas de transparência sugere que todos eles poderiam se tornar mais abertos sem perder para os concorrentes.
À medida que especialistas em IA tentam descobrir para onde o recente florescimento de certas abordagens à IA está caminhando, alguns dizem que o segredo corre o risco de tornar o campo menos uma disciplina científica e mais orientado ao lucro.
“Este é um momento crucial na história da IA”, diz Jesse Dodge, cientista de pesquisa no Instituto Allen para IA, ou AI2. “Os players mais influentes na construção de sistemas de IA generativos hoje estão cada vez mais fechados, deixando de compartilhar detalhes-chave de seus dados e de seus processos.”
A AI2 está tentando desenvolver um modelo de linguagem de IA muito mais transparente, chamado OLMo. Ele está sendo treinado usando uma coleção de dados obtidos na web, publicações acadêmicas, código, livros e enciclopédias. Esse conjunto de dados, chamado Dolma, foi lançado sob a licença de ImpACT da AI2. Quando o OLMo estiver pronto, a AI2 planeja lançar o sistema de IA em funcionamento e também o código por trás dele, permitindo que outras pessoas construam sobre o projeto.
Dodge diz que ampliar o acesso aos dados por trás de modelos de IA poderosos é especialmente importante. Sem acesso direto, geralmente é impossível saber por que ou como um modelo pode fazer o que faz. “O avanço da ciência requer a reprodutibilidade”, diz ele. “Sem receber acesso aberto a esses blocos de construção cruciais para a criação de modelos, permaneceremos em uma situação ‘fechada’, estagnada e proprietária.”
Dado o quão amplamente os modelos de IA estão sendo implantados – e o quão perigosos alguns especialistas alertam que podem ser – um pouco mais de abertura poderia fazer muita diferença.
