Mãos à obra com a resposta do Google Search ao ChatGPT
Google Search's response to ChatGPT in action
No último fim de semana, recorri à Pesquisa Google em busca de ajuda para descobrir quantos selos eu precisava colocar em uma correspondência de 8 onças. (Naturalmente, eu estava enviando uma cópia da última edição da WIRED!). É exatamente o tipo de pergunta que eu esperava que o novo recurso de IA generativa da Pesquisa Google, que venho testando há um mês, resolvesse muito mais rápido do que eu conseguiria através da minha própria pesquisa.
A experiência generativa de pesquisa da Google, chamada de SGE, insere funcionalidade de conversação semelhante ao ChatGPT na caixa de pesquisa. Você pode se inscrever nos Laboratórios de Pesquisa da Google. A empresa afirma que deseja que os usuários conversem com seu chatbot de pesquisa, que foi lançado para testadores em maio, para aprofundar-se em tópicos e fazer perguntas mais desafiadoras e intuitivas do que digitariam em uma caixa de pesquisa comum e entediante. E as respostas geradas por IA têm o objetivo de organizar as informações de forma mais clara do que uma página de resultados de pesquisa tradicional – por exemplo, reunindo informações de vários sites. A maioria das pesquisas na web mundial passa pelo Google, e a empresa tem desenvolvido tecnologias de IA há mais tempo do que a maioria das empresas, então é justo esperar uma experiência de primeira classe.
Essa é a teoria. Na prática, esse novo recurso é, até agora, mais um incômodo do que uma ajuda. É lento, ineficiente, prolixo e confuso – mais interferência artificial do que inteligência.
A primeira coisa que notei sobre a visão da Google para o futuro da pesquisa foi sua lentidão.
Texto simples
- A Pressão de Elizabeth Warren por um Novo Regulador de Tecnologia
- Desenvolvedores da Apple obrigados a justificar o uso de algumas AP...
- Olhei para a esfera de Sam Altman e tudo o que consegui foi esta cr...
Assim que você obtém acesso ao teste da Google, a caixa de pesquisa parece inalterada. No entanto, em resposta a uma pergunta como “Quantos selos são necessários para enviar uma carta de 8 onças”, uma nova seção ocupa uma boa parte da tela, empurrando para baixo a lista convencional de links. Dentro dessa área, os grandes modelos de linguagem da Google geram alguns parágrafos semelhantes aos que você pode encontrar no ChatGPT ou no Bing Chat da Microsoft. Botões na parte inferior levam a uma interface de chatbot onde você pode fazer perguntas de acompanhamento.
A primeira coisa que notei sobre a visão da Google para o futuro da pesquisa foi sua lentidão. Em testes nos quais eu controlava um cronômetro com uma mão e enviava uma pergunta com a outra, às vezes levava quase seis segundos para o gerador de texto da Google fornecer sua resposta. A média era mais de três segundos, em comparação com não mais do que um segundo para os resultados convencionais da Google aparecerem. As coisas poderiam ter sido piores: fiz meus testes depois que a Google lançou uma atualização que, segundo ela, dobrou a velocidade do bot de pesquisa no mês passado. No entanto, muitas vezes acabo lendo os resultados regulares quando a IA generativa termina, o que significa que acabo ignorando suas dissertações tardias. Cathy Edwards, vice-presidente de pesquisa da Google, me diz que as otimizações de velocidade do software de IA que sustenta a ferramenta estão em andamento.
Poderíamos desculpar a lentidão desse novo formato de pesquisa se os resultados fossem válidos. Mas a precisão é irregular. A resposta de IA gerativa da Google para a minha pergunta sobre selos incluía erros aparentes de multiplicação e subtração, preços de selos desatualizados por dois anos e perguntas de acompanhamento sugeridas que ignoravam variáveis cruciais para os custos de envio, como forma, tamanho e destino. O aviso que a Google exibe no topo de cada resposta gerada por IA ecoou de forma ressonante: “A IA generativa é experimental. A qualidade das informações pode variar.”
Nessa mesma resposta, o novo recurso de pesquisa da Google sugeriu que eu precisaria de $2,47 ou $4 em selos. Acessar a calculadora online do Serviço Postal dos EUA forneceu a resposta oficial: eu precisava de $3,03 ou cinco selos a 66 centavos cada, com um pagamento excessivo de 27 centavos. Edwards, da Google, diz que minha humilde pergunta empurrou os limites atuais da tecnologia. “Definitivamente, isso está na fronteira”, diz ela.
Infelizmente, simplificar demais também não deu certo. Ao pedir apenas o preço de um selo, a Google respondeu com um valor desatualizado. Apenas especificando que eu queria o preço deste mês fez o sistema refletir corretamente o aumento de custo de 3 centavos deste mês. Para ser justo, o ChatGPT também falharia nessa pergunta porque seus dados de treinamento param em 2021 – mas ele não é posicionado como um substituto para um mecanismo de pesquisa.
A nova experiência de pesquisa da Google parece tão pouco confiável que é melhor eu simplesmente clicar nos resultados padrão para conduzir minha própria pesquisa. Uma pergunta sobre jogos de Star Wars desenvolvidos pela produtora de jogos Electronic Arts gerou uma lista precisa, exceto pela inclusão de um título da concorrente da EA, a Ubisoft. Ironicamente, a descrição gerativa de IA do jogo no resultado mencionou que ele foi feito pela Ubisoft, demonstrando como os grandes modelos de linguagem podem se contradizer.
Quando perguntado sobre jogadores que o San Diego Padres – que certamente vencerá os Phillies de Steven por uma vaga de wild card – pode tentar adquirir através de uma troca com outra equipe de beisebol, a resposta da IA do Google começou com dois jogadores atualmente no Padres, confundindo fichas de troca com alvos de troca.
O Google implementou algumas medidas de proteção. A nova experiência de pesquisa não é exibida para algumas consultas de saúde ou financeiras, para as quais o Google estabeleceu um critério mais rigoroso de precisão. E a experiência quase sempre apresenta links para recursos relacionados na Web para ajudar os usuários a corroborar as saídas da IA. Os resultados de consultas como “Escrever um poema” têm o aviso “Você pode ver conteúdo criativo impreciso”. E o sistema de IA geralmente não tenta parecer muito fofo ou adotar uma persona. “Não achamos que as pessoas realmente queiram conversar com o Google”, diz Edwards, contrastando com o Bing Chat, que é conhecido por falar em primeira pessoa ou usar emojis.
Às vezes, a nova visão de busca do Google pode parecer mais um retrocesso do que um salto para o futuro. As respostas geradas podem duplicar outras características na página de resultados, como trechos em destaque que fornecem uma resposta clara e compreensível de um site ou caixas de conhecimento que fornecem uma visão geral de um parágrafo de um tópico da Wikipedia. Quando se manifesta tardia sobre resultados como esses, a versão gerada pela IA tende a ser a mais prolixa e a mais difícil de compreender.
Edwards mencionou pelo menos oito vezes em nossa discussão de 30 minutos sobre minhas experiências com o novo recurso que ainda está em seus estágios iniciais de desenvolvimento, com muitos problemas a serem resolvidos. “Não acho que você vai me ouvir dizer que acertamos isso”, diz ela. “Estamos no início de um arco de transformação de 10 anos.” Ela também diz que o feedback até agora tem sido “super positivo”, mas talvez o mais importante, ela diz que o que o Google eventualmente lançará para todos os usuários “pode ser muito diferente do que temos hoje”.
Uma experiência mais rápida, menos cheia de conteúdo e capaz de ajudar a enviar edições da WIRED aos leitores sem correr o risco de que eles sejam devolvidos por falta de postagem suficiente seria bom.
A busca do Google por responder de forma sucinta às perguntas dos usuários com respostas diretas começou há anos. Em 2016, o então escritor da WIRED, Cade Metz, escreveu sobre como o Google reuniu cerca de 100 doutores em linguística fluentes em cerca de duas dúzias de idiomas para condensar a escrita e anotar frases para ajudar a treinar sistemas de IA a entender como a linguagem humana funciona. O Google esperava que a equipe e a tecnologia crescessem nos próximos anos.
Esses “algoritmos de compressão de frases” foram lançados na versão para desktop do mecanismo de busca. Eles lidam com uma tarefa que é bastante simples para os humanos, mas que tradicionalmente tem sido bastante difícil para as máquinas. Eles mostram como o aprendizado profundo está avançando a arte da compreensão da linguagem natural, a capacidade de entender e responder à fala humana natural. “Você precisa usar redes neurais – ou pelo menos é a única maneira que encontramos de fazer isso”, diz David Orr, gerente de produto de pesquisa do Google, sobre o trabalho de compressão de frases da empresa.
O Google treina essas redes neurais usando dados criados manualmente por uma grande equipe de doutores em linguística chamada Pygmalion. Na prática, as máquinas do Google aprendem como extrair respostas relevantes de longas sequências de texto observando os humanos fazê-lo – repetidamente. Esses esforços meticulosos mostram tanto o poder quanto as limitações do aprendizado profundo. Para treinar sistemas de inteligência artificial como este, você precisa de muitos e muitos dados que foram filtrados pela inteligência humana. Esse tipo de dado não é fácil – nem barato – de obter. E a necessidade dele não vai desaparecer tão cedo.
Mas apenas um ano depois, os pesquisadores do Google desenvolveram uma nova abordagem para treinar IA que tornou grande parte dessa preparação desnecessária e levou aos grandes modelos de linguagem que estão por trás de serviços como o ChatGPT e o novo Google Search. Olhando para trás, eu não me importaria com os trechos de respostas do Google Search de anos atrás.
Jennifer Phoenix, via Facebook, pergunta por que os geradores de imagens de IA continuam a errar as mãos e os dedos. “Eu li que é por causa da complexidade”, diz ela, “mas eu acho que a solução é treinar mais nesses recursos”.
Eu concordo com você, Jennifer. Depois de ler sua pergunta, tentei gerar imagens de “mão com uma tatuagem de sol poente” em uma versão de demonstração da ferramenta de IA Stable Diffusion. O lote de quatro resultados que recebi apresentava dedos e mãos desarticulados e trêmulos, mãos com dedos faltando, pulsos anormalmente finos ou nós gigantes. Em contraste, a consulta “rosto com tatuagem de sol poente na bochecha” resultou em algumas imagens selvagens, mas pelo menos os rostos pareciam realistas.
Imagem gerada por IA.
Difusão Estável via Paresh Dave
Pranav Dixit fez uma investigação aprofundada para o BuzzFeed News (RIP) no início deste ano sobre a história das mãos na arte, e escreveu que o fato de as mãos das pessoas estarem frequentemente ocupadas – segurando copos, por exemplo – pode explicar por que os sistemas de IA têm dificuldade em recriá-las realisticamente. Kyle Chayka, do The New Yorker, também abordou a questão, apontando que dar comandos mais precisos aos geradores de imagens de IA sobre o que as mãos devem fazer pode ajudar.
Como você disse, Jennifer, fornecer dados melhores ou mais diversos aos sistemas de IA geralmente resulta em resultados mais precisos. Alguns usuários observaram melhorias modestas na saída das mãos na “v5” do gerador de IA da Midjourney no início deste ano. Mas o CEO da Midjourney, David Holz, me diz por e-mail que a empresa “não fez nada específico para as mãos. Nossas coisas simplesmente funcionam melhor na v5”.
Por outro lado, a desenvolvedora Stable Diffusion, Stability AI, trabalhou especificamente no problema das mãos ao desenvolver sua versão mais recente, que foi lançada nesta semana. Joe Penna, chefe de aprendizado de máquina aplicado da Stability, diz que mãos mal geradas eram a principal reclamação dos usuários. Quando testei o novo modelo com minha consulta de tatuagem na mão, duas imagens ficaram boas, enquanto as outras duas apresentaram algumas falhas nos nós dos dedos.
Imagem gerada por IA.
Difusão Estável via Paresh Dave
O novo modelo tem cerca de oito vezes mais capacidade do que seu antecessor para aprender padrões visuais a serem reproduzidos, o que essencialmente significa que ele pode se lembrar mais de como as mãos devem parecer, diz Penna. A empresa também o treinou com imagens de pessoas e obras de arte adicionais, para refletir o que os usuários estão mais interessados. Agora, segundo Penna, “ele se lembra de coisas como mãos muito mais”.
A inserção de milhões de imagens adicionais de mãos nos dados de treinamento na verdade piorou as imagens geradas de mãos, tornando-as muito grandes, diz Penna, mas ele afirma que a empresa está testando diferentes táticas para obter melhorias adicionais.
Antes de falar com Penna, eu havia hipotetizado que os desenvolvedores de IA poderiam querer evitar a perfeição porque mãos imperfeitas são uma maneira comum de detectar deepfakes. Penna diz que esse não é o caso, mas que a Stability tomou outras medidas para garantir que seja óbvio quando as imagens foram geradas com sua tecnologia. “Nós não vamos voltar a construir mãos piores, então vamos começar a ser muito cuidadosos com as imagens que vemos na internet”, diz ele.
Com os problemas de estrutura óssea começando a ser resolvidos, talvez as empresas possam abordar o fato de que todas as 12 imagens geradas a partir dos meus prompts de teste mostraram mãos de pele clara? Deixo para Steven explicar isso em um futuro Plaintext.
Você pode enviar perguntas para [email protected]. Escreva ASK LEVY na linha do assunto.
Achou que não poderia ficar pior do que o refrigerante Mountain Dew Flamin’ Hot? Experimente as balas Skittles com sabor de mostarda, uma jogada de marketing para o Dia Nacional da Mostarda nos EUA na próxima semana.
O Futurama está de volta! Mas o primeiro episódio só me fez rir uma vez (quando um comediante robô chamou um grupo de amigos de politicamente corretos demais). O programa é totalmente focado em criticar nosso mundo centrado na tecnologia moderna. Infelizmente, parece estar escolhendo alvos fáceis.
A UE está preparando um enorme banco de dados de todas as decisões de moderação de conteúdo feitas pelas empresas de mídia social e os motivos por trás delas.
O feed de dados mais quente da tecnologia? Dados de combate da Ucrânia para treinar software de IA militar.
Justiça por conta própria: uma pessoa com visão prejudicada que foi enganada em um laptop se uniu a um amigo para enfrentar o fraudador. As evidências agora estão com a polícia.
