A Gemini do Google continua a perigosa ofuscação da tecnologia de IA
A gêmea maléfica do Google perpetua a obscuridade perigosa da tecnologia de Inteligência Artificial
Até este ano, era possível aprender muito sobre a tecnologia de inteligência artificial simplesmente lendo documentações de pesquisa publicadas pelo Google e outros líderes em IA a cada novo programa lançado. A divulgação aberta era a norma no mundo da IA.
Tudo isso mudou em março deste ano, quando a OpenAI decidiu anunciar seu último programa, GPT-4, com quase nenhum detalhe técnico. O artigo de pesquisa fornecido pela empresa obscureceu praticamente todos os detalhes importantes do GPT-4 que permitiriam aos pesquisadores entender sua estrutura e tentar replicar seus efeitos.
Também: IA em 2023: Um ano de avanços que não deixou nada inalterado
Na semana passada, o Google continuou essa nova abordagem de obstrução, anunciando o lançamento formal de seu mais novo programa de IA generativa, Gemini, desenvolvido em conjunto com sua unidade DeepMind, que foi apresentado pela primeira vez em maio. Os pesquisadores do Google e da DeepMind ofereceram um post de blog desprovido de especificações técnicas e um relatório técnico quase completamente desprovido de detalhes técnicos relevantes.
Grande parte do post do blog e do relatório técnico cita uma série de pontuações de referência, com o Google se vangloriando de superar o GPT-4 da OpenAI na maioria das medidas e superar a antiga rede neural líder do Google, PaLM.
- Um robô policial alimentado por inteligência artificial manterá a e...
- Quishing é o novo phishing Por que você precisa pensar antes de esc...
- Crystal UHD vs QLED Uma comparação para comprar TVs da Samsung
Nem o blog nem o artigo técnico incluem detalhes importantes que eram costumeiros nos anos anteriores, como quantos “parâmetros” ou “pesos” a rede neural tem, um aspecto fundamental de seu design e função. Em vez disso, o Google se refere a três versões do Gemini, com três tamanhos diferentes: “Ultra”, “Pro” e “Nano”. O artigo revela que o Nano é treinado com duas contagens de peso diferentes, 1,8 bilhão e 3,25 bilhões, enquanto não revela os pesos dos outros dois tamanhos.
Também: Esses 5 principais avanços tecnológicos de 2023 foram os maiores agentes de mudança
Vários outros detalhes técnicos estão ausentes, assim como no artigo técnico do GPT-4 da OpenAI. Na ausência de detalhes técnicos, o debate online tem se concentrado em saber se o alarde das pontuações de referência significa alguma coisa.
O pesquisador da OpenAI, Rowan Zellers, escreveu no X (anteriormente Twitter) que o Gemini é “impressionante”, e acrescentou: “Também não tenho uma boa noção de quanto confiar nas dezenas de pontuações de referência de texto que todos os artigos LLM relatam atualmente.”
😂 em uma nota mais séria – o modelo Gemini é impressionante (mal posso esperar para experimentar os novos aspectos de multimodalidade!) Também não tenho uma boa noção de quanto confiar nas dezenas de pontuações de referência de texto que todos os artigos LLM relatam hoje em dia 😀
— Rowan Zellers (@rown) 7 de dezembro de 2023
O site de notícias de tecnologia ENBLE’s Kyle Wiggers relata anedotas de baixo desempenho do mecanismo de busca Bard do Google, aprimorado pelo Gemini. Ele cita postagens no X de pessoas fazendo perguntas ao Bard, como curiosidades sobre filmes ou sugestões de vocabulário, e relatando as falhas.
A troca de acusações é um fenômeno comum na introdução de uma nova tecnologia ou produto. No passado, no entanto, os detalhes técnicos permitiam que os leigos fizessem uma avaliação mais informada das capacidades, comparando as diferenças técnicas entre o programa mais recente e seus predecessores imediatos, como o PaLM.
Pela falta dessas informações, as avaliações estão sendo feitas de maneira aleatória, com as pessoas digitando coisas aleatórias para o Bard.
A mudança repentina para o sigilo por parte do Google e da OpenAI está se tornando um grande problema ético para a indústria de tecnologia, porque ninguém, além da OpenAI e sua parceira Microsoft, sabe o que está acontecendo na caixa preta em sua nuvem de computação.
Em outubro, os acadêmicos Emanuele La Malfa, da Universidade de Oxford, e colaboradores do Instituto Alan Turing e da Universidade de Leeds, alertaram que a obscuridade do GPT-4 e outros modelos “causa um problema significativo” para a IA na sociedade, ou seja, “os modelos mais potentes e arriscados também são os mais difíceis de analisar”.
A falta de divulgação por parte do Google, embora não seja surpreendente dada sua batalha comercial com a OpenAI e a parceira Microsoft pelo mercado, é ainda mais destacada por uma omissão muito grande: os “model cards”.
Também: Dois avanços tornaram 2023 o ano mais inovador da tecnologia em mais de uma década
Os “model cards” são uma forma de divulgação padrão usada em IA para relatar os detalhes das redes neurais, inclusive os danos potenciais do programa (discurso de ódio, etc.). Embora o relatório do GPT-4 da OpenAI tenha omitido a maioria dos detalhes, pelo menos fez uma referência aos “model cards” com uma seção intitulada “GPT-4 System Card” no artigo, que afirmava ter sido inspirada nos “model cards”.
O Google nem mesmo chega perto disso, omitindo qualquer coisa que se assemelhe a “model cards”. A omissão é particularmente estranha dado que os “model cards” foram inventados no Google por uma equipe que incluía Margaret Mitchell, anteriormente co-líder de AI Ética do Google, e a ex-co-líder Timnit Gebru.
Em vez dos “model cards”, o relatório oferece uma passagem breve e bastante bizarra sobre a implementação do programa com linguagem vaga sobre a existência dos “model cards” em algum momento:
Após a conclusão das avaliações, são criados para cada modelo Gemini aprovado “model cards” ?? [ênfase do Google] para documentação interna estruturada e consistente das métricas de desempenho críticas e de responsabilidade, bem como para informar a comunicação externa apropriada dessas métricas ao longo do tempo.
Se o Google coloca pontos de interrogação ao lado dos “model cards” em sua própria divulgação técnica, é preciso questionar qual é o futuro da supervisão e segurança para as redes neurais.
