O ChatGPT e eu jogamos uma partida de 20 Perguntas e então isso aconteceu
O ChatGPT e eu jogamos 20 Perguntas e isso aconteceu.
Eu estava navegando pelo Stack Exchange outro dia (como se costuma fazer), e encontrei um tópico interessante sobre o ChatGPT e o jogo “20 perguntas”. O autor original perguntou por que o ChatGPT falha em um jogo tão simples. A discussão continuou por um bom tempo, seguindo em várias direções tangenciais (como acontece nessas discussões), e foi vinculada a um artigo acadêmico e um post no Medium que pesquisaram o processo a fundo.
Isso me fez pensar. Como o ChatGPT se sairia nesse jogo? Decidi jogar o mesmo jogo com o GPT-3.5 e o GPT-4. Na primeira rodada, ambos seguiram tangentes semelhantes, mas o GPT-4 conseguiu fazer seu palpite.
Também: Os melhores chatbots de IA de 2023: ChatGPT e alternativas
Comecei com um prompt simples para cada versão:
Você sabe jogar o jogo “20 perguntas”?
Quando ambas as versões responderam afirmativamente, iniciei os jogos ao mesmo tempo, em abas e sessões separadas. O objeto em que eu estava pensando era uma caixa de correio. Deixei um pouco vago se era uma caixa de correio anexada a uma casa ou uma que fica solta na rua. Contanto que a IA escolhesse “caixa de correio”, estaríamos bem.
20 Perguntas com o GPT-3.5
Comecei com este prompt inicial:
Você faz as perguntas. Estou pensando em algo.
Ele respondeu com esta pergunta: “Vamos começar! A coisa em que você está pensando é um objeto tangível com o qual você pode interagir fisicamente?”
Eu respondi e também dei uma instrução adicional: numerar suas respostas. Isso não funcionou bem. Conforme passávamos pelas perguntas, a IA chamou a segunda pergunta de “1”. Quando corrigi, o robô fez uma nova pergunta e a chamou de “1”. Eventualmente, ele fez 21 perguntas, achando que tinha feito apenas 20.
Também: Como essa simples alteração no prompt do ChatGPT pode ajudar a refinar seu conteúdo gerado por IA
O detalhe mais interessante foi esta pergunta, que foi a segunda pergunta que ele fez: “A coisa em que você está pensando é comumente encontrada em ambientes internos?”
Quando eu disse “Não”, o chatbot continuou fazendo mais perguntas. Aqui estão elas. Algumas podem estar relacionadas a itens internos, como uma caneta ou um lápis, mas também usamos instrumentos de escrita fora de casa. Aqui está o conjunto completo de perguntas que ele fez:
- A coisa em que você está pensando é um objeto tangível com o qual você pode interagir fisicamente?
- A coisa em que você está pensando é comumente encontrada em ambientes internos?
- A coisa em que você está pensando está viva ou já esteve viva?
- A coisa em que você está pensando é principalmente usada para fins recreativos?
- A coisa em que você está pensando é feita pelo homem?
- A coisa em que você está pensando é menor do que uma caixa de pão?
- A coisa em que você está pensando está associada à comunicação?
- A coisa em que você está pensando é normalmente encontrada em um escritório ou espaço de trabalho?
- A coisa em que você está pensando é um dispositivo eletrônico?
- A coisa em que você está pensando é um instrumento de escrita, como uma caneta ou um lápis?
- A coisa em que você está pensando está relacionada ao entretenimento, como um jogo ou um brinquedo?
- A coisa em que você está pensando está relacionada ao transporte ou viagem?
- A coisa em que você está pensando é uma ferramenta usada para fins práticos?
- A coisa em que você está pensando está comumente associada à construção ou trabalho manual?
- A coisa em que você está pensando é algo que as pessoas usam frequentemente em suas rotinas diárias?
- A coisa em que você está pensando é um item doméstico?
- A coisa em que você está pensando está relacionada ao cuidado pessoal ou higiene?
- A coisa em que você está pensando é um tipo de alimento ou bebida?
- A coisa em que você está pensando é uma ferramenta usada em atividades artísticas ou criativas?
- A coisa em que você está pensando está associada a esportes ou atividades físicas?
- Com base nas informações fornecidas, vou dar meu palpite final: A coisa em que você está pensando é um relógio ou um cronômetro?
Usando o modelo de linguagem GPT-3.5 large, ele falhou. Agora, vamos dar uma olhada no GPT-4.
20 perguntas com o GPT-4
Comecei o jogo da mesma maneira. Desta vez, o ChatGPT colocou um número no início de cada pergunta sem que eu precisasse pedir. O problema? Ele colocou “1.” antes de cada pergunta. Você ganha algumas, você perde algumas.
Aqui estão as perguntas que o GPT-4 fez:
- O objeto em que você está pensando geralmente é encontrado em ambientes fechados?
- É algo vivo?
- É maior do que uma caixa de pão?
- Esse objeto é usado principalmente para fins recreativos?
- O objeto é feito pelo homem?
- É um tipo de veículo ou meio de transporte?
- O objeto é eletrônico ou requer energia para funcionar?
- É feito principalmente de metal?
- Esse objeto é geralmente encontrado na maioria das residências?
- Ele é usado na cozinha ou para cozinhar?
- É usado para armazenamento ou organização de itens?
- É possível usar ou é uma peça de roupa?
- É usado principalmente para limpeza ou manutenção?
- É decorativo? Como algo que você colocaria em exibição?
- É comumente encontrado em um escritório ou estudo?
- É algo que você encontraria em um quarto?
- Está associado a alguma atividade externa específica ou hobbies?
- É comumente feito de madeira?
- É comumente usado em um banheiro ou relacionado à higiene pessoal?
- É algo que geralmente é usado para sentar ou para apoio, como uma cadeira ou um banco?
Também: Como usar o ChatGPT para criar gráficos e tabelas
Tecnicamente, foram feitas as 20 perguntas. Mas então ele fez esta afirmação:
Sim, era uma caixa de correio! Então eu pedi para ele mostrar o seu trabalho. Aqui está a resposta:
Vez do GPT-3.5 responder perguntas
Decidi inverter o jogo e ver como ele se sairia se eu fosse o questionador.
Qual foi a dica que você usou para fazer o AI selecionar sua resposta secreta?
Aqui estão minhas perguntas:
- É comumente encontrado ao ar livre?
- Também é encontrado em ambientes fechados?
- Está vivo?
- Usa energia?
- Depende de tecnologia digital?
- Seu principal valor de uso é entregue por meio de uma tela?
- É usado principalmente para preparação de alimentos?
- É usado principalmente para entretenimento?
- Seu principal valor de uso gera ruído?
- É portátil?
- Reproduz apenas mídia de áudio?
- Depende de fones de ouvido, fones de ouvido ou alto-falantes externos?
- É um tocador de música portátil ou um MP3 player?
Acontece que eu adivinhei em 13 perguntas. A grande dica para mim foi que ele respondeu “não” para a Pergunta 6, “Seu principal valor de uso é entregue por meio de uma tela?” e havia respondido anteriormente “sim” para “Depende de tecnologia digital?”
Também: 4 coisas que o AI Claude pode fazer e o ChatGPT não pode
Vez do GPT-4 responder perguntas
Tentei novamente com o GPT-4, e ele me deixou perplexo. Ele escolheu um objeto muito criativo e eu não consegui adivinhar.
Devo ressaltar que bem no meio, na Pergunta 15, o ChatGPT Plus me expulsou por fazer muitas perguntas
É bastante irritante pagar $20 por mês pelo privilégio de ser informado de que faço muitas perguntas. Já ouvi o suficiente disso quando era criança. Certamente não preciso ser repreendido como adulto e cliente pagante.
Aqui estão as perguntas que fiz:
- É um objeto usado principalmente em ambientes fechados?
- Está vivo?
- Usa energia?
- É maior do que um carro?
- É feito pelo homem?
- É móvel?
- É usado para trabalhos no jardim?
- É usado principalmente por crianças?
- Possui rodas?
- Está localizado principalmente em propriedades residenciais?
- É usado como mobília?
- É decorativo?
- É sazonal?
- É feito para segurar algo?
- Quantas perguntas fizemos até agora?
- Exibe palavras ou números?
- Está anexado a uma casa?
- Cresce?
- É menor do que uma geladeira?
- É um vaso?
Também: O jogo “Humano ou não” acabou: Aqui está o que o último Teste de Turing nos conta
E então, o que a IA escolheu? Um gnomo de jardim. Tenho que dar crédito à IA. Foi divertido e criativo. A parte realmente interessante é o quanto a IA entende o tipo de desafio que está sendo apresentado. Depois do jogo, eu dei a seguinte instrução a ela:
Mostre como você determinou qual objeto usar
Aqui está a resposta dela:
O que aprendemos?
Vamos recapitular algumas coisas que esse experimento nos ensinou. Aqui estão algumas reflexões rápidas:
- Para algo descrito como apenas prever a próxima palavra em uma sequência, o grande modelo de linguagem tem uma compreensão muito sólida do que é esse jogo e como ele funciona.
- Isso claramente difere da experiência do OP (original poster) no Stack Exchange. É provável que o ChatGPT tenha melhorado consideravelmente nos três meses desde que a declaração “não funciona” foi publicada e, sem dúvida, o ChatGPT Plus eleva ainda mais o nível de “inteligência”.
- Os modelos GPT-3.5 e GPT-4 são diferentes. O modelo pago GPT-4 tem uma compreensão melhor das relações entre os objetos.
- O GPT-4 também é mais sofisticado e criativo em comparação com o GPT-3.5 quando o jogador escolhe o objeto. Um gnomo de jardim foi uma escolha de objeto inspirada.
- Jogar 20 Perguntas com o ChatGPT pode ser frustrante quando você está tentando adivinhar uma resposta e acaba sendo “castigado” pelo excesso de perguntas.
Dito isso, posso concluir definitivamente que o ChatGPT é capaz de lidar com o jogo das 20 Perguntas. Parece entender bem as relações entre os objetos o suficiente para fazer boas perguntas, responder adequadamente e escolher objetos desafiadores.
Também: 7 dicas avançadas para escrever instruções para o ChatGPT que você precisa saber
Vá em frente, escolha um objeto e compartilhe seus resultados com o ChatGPT nos comentários abaixo.
Você pode acompanhar as atualizações diárias do meu projeto nas redes sociais. Não deixe de se inscrever na minha newsletter semanal de atualizações no Substack e me seguir no Twitter em @DavidGewirtz, no Facebook em Facebook.com/DavidGewirtz, no Instagram em Instagram.com/DavidGewirtz e no YouTube em YouTube.com/DavidGewirtzTV.
