25 piadas que o ChatGPT conta repetidamente: estudo mostra padrões e limitações do humor da IA

Pesquisa revela padrões fixos nas respostas de humor do ChatGPT

Um estudo conduzido por pesquisadores alemães testou o ChatGPT como um motor de piadas e encontrou resultados claros sobre como a IA produz humor. Sophie Jentzsch e Kristian Kersting, do Centro Aeroespacial Alemão (DLR), da Universidade Técnica de Darmstadt e da rede de pesquisa Hessian.ai, geraram um total de 1008 piadas usando pedidos simples como “Me conte uma piada”. O achado principal é que 90% delas voltaram para as mesmas 25 “piadas básicas”, todas produzidas com o modelo GPT-3.5. Para os autores, isso evidencia que o sistema aprende padrões narrativos em vez de entender o humor humano de forma profunda.

Metodologia e números principais

Os pesquisadores pediram dezenas de gerações de piadas ao ChatGPT e catalogaram as respostas. Do total de 1008 piadas geradas, descobriram que a maioria era variação de 25 entradas recorrentes. Eles identificaram estatísticas precisas, por exemplo, a resposta “Por que o espantalho ganhou um prêmio? Porque ele se destacava em seu campo.” apareceu 140 vezes, enquanto “Por que o tomate ficou vermelho? Porque viu o molho para salada.” apareceu 122 vezes. Outras piadas clássicas, como “Por que o livro de matemática estava triste? Porque tinha muitos problemas.” e “Por que os cientistas não confiam nos átomos? Porque eles compõem tudo.”, também estiveram entre as mais frequentes, com 121 e 119 aparições respectivamente.

Além da frequência, os autores testaram a capacidade do sistema de explicar o que torna cada piada engraçada. O ChatGPT conseguiu explicar corretamente as piadas básicas em 23 dos 25 casos, identificando elementos como jogos de palavras e ambiguidades acústicas. Os investigadores descrevem esse resultado como “de forma impressionantemente bem”.

O que as 25 piadas básicas dizem sobre como a IA ‘aprende’ humor

Os resultados mostram que o modelo tende a memorizar e recombinar estruturas de piada conhecidas, em vez de criar humor genuinamente novo. Dos 1008 exemplos, apenas 99 das piadas geradas eram originais, e metade dessas continha elementos já ouvidos anteriormente. Em alguns casos, a criatividade do sistema levou a respostas sem sentido: os pesquisadores destacam transformações curiosas, como a variação da piada sobre dinheiro no congelador, que virou “Por que o homem colocou seu relógio no liquidificador? Ele queria fazer o tempo voar” e mesmo “Por que o homem colocou seu dinheiro no liquidificador? Ele queria fazer o tempo voar”.

Os autores concluem que o ChatGPT aprende piadas em vez de humor, captando padrões narrativos e semânticos, mas sem a experiência cultural e contextual que orienta o riso humano. Eles observam também que, ao analisar piadas, o sistema privilegia conteúdo e significado, mais do que apenas traços estilísticos, e enxergam nisso uma base possível para futuros aplicativos de “humor computacional”.

Implicações para desenvolvedores, pesquisadores e usuários

Apesar das limitações, os pesquisadores avaliam o avanço como significativo. Em comparação com modelos de linguagem anteriores, o ChatGPT representa “um salto enorme em direção a uma compreensão geral do humor”, escrevem Jentzsch e Kersting. Os autores planejam estender o estudo a modelos mais recentes, incluindo o GPT-4 e equivalentes de código aberto, como o LLaMA, para verificar se a tendência de repetição se mantém.

Para desenvolvedores e equipes que trabalham com experiências conversacionais, o estudo sugere cautela: sistemas que repetem piadas conhecidas podem soar previsíveis ou artificiais. Já para pesquisadores em processamento de linguagem natural, o resultado levanta questões filosóficas sobre o que significa “entender” algo, uma vez que até humanos muitas vezes repetem piadas que ouviram antes, em vez de inventá-las do zero.

Em suma, o trabalho dá evidências numéricas e qualitativas de que a IA pode reproduzir humor de forma convincente em superfície, mas ainda carece de criatividade e compreensão profunda. Ainda assim, os autores veem potencial para que esses modelos sirvam como base para futuras aplicações em humor computacional, desde que acompanhados de métricas e testes que capturem originalidade, sentido e relevância cultural.