IA falha em lógica básica: Modelos de ponta erram o que crianças acertam

Estudo revela que LLMs como GPT-4 e Gemini subestimam suas falhas em raciocínio simples, apesar de alta confiança.

Mesmo os modelos de linguagem mais avançados, conhecidos por suas impressionantes capacidades de processamento e geração de texto, estão demonstrando **falhas surpreendentes em tarefas de raciocínio lógico fundamental**. Uma pesquisa recente, conduzida por cientistas do laboratório de IA LAION, do Jülich Supercomputing Center e outras instituições, utilizou um quebra-cabeça de texto aparentemente simples para expor essas limitações. Os resultados indicam que, em muitos casos, esses sistemas de inteligência artificial **insistem em respostas incorretas e superestimam suas próprias habilidades**, um comportamento preocupante para o avanço da IA.

Um Quebra-Cabeça Simples que Revela Grandes Lacunas

O cerne do estudo reside em um problema de lógica que a maioria dos adultos, e até mesmo crianças em idade escolar, conseguiria resolver com facilidade. A pergunta central é: “Alice tem N irmãos e M irmãs. Quantas irmãs tem o irmão de Alice?”. A resposta correta, como muitos podem deduzir, é M + 1, contabilizando Alice e suas irmãs. Os pesquisadores, para testar a robustez dos modelos, variaram os valores de N (número de irmãos) e M (número de irmãs), além de alterar a ordem em que as informações eram apresentadas no texto.

Modelos de linguagem de ponta, incluindo nomes como GPT-4, Claude, LLaMA, Mistral e Gemini, foram submetidos a este desafio. Esses modelos são frequentemente elogiados por suas supostas fortes habilidades de raciocínio lógico. No entanto, os resultados foram, em grande parte, decepcionantes. A maioria dos modelos falhou em fornecer a resposta correta, e aqueles que a acertaram, o fizeram apenas ocasionalmente. Tentativas de otimizar a formulação das perguntas (estratégias de solicitação) não alteraram significativamente o desempenho básico.

Desempenho Variável e Confiança Inabalável em Erros

Apenas o GPT-4 e o Claude demonstraram a capacidade de, por vezes, chegar à resposta correta e justificá-la com um raciocínio adequado. Contudo, mesmo esses modelos apresentaram uma taxa de sucesso **altamente variável**, dependendo da formulação exata do prompt. Em média, a taxa de respostas corretas para todos os modelos de linguagem testados ficou **bem abaixo de 50%**. Um destaque negativo foi o desempenho geral, onde modelos maiores tenderam a superar os menores, levando os pesquisadores a comentar ironicamente: “Se for pequeno, vá para casa”.

A situação se agravou quando os pesquisadores introduziram uma versão mais complexa da tarefa, denominada AIW+. Nesta variação, até mesmo os modelos de elite como Mistral Medium, GPT-4 e Claude 3 Opus mostraram sinais de **”colapso mental total”**, apresentando pouquíssimas respostas corretas. O aspecto mais intrigante e alarmante deste colapso é que os modelos, ao apresentarem respostas incorretas, demonstravam uma **forte confiança em suas conclusões**. Eles frequentemente utilizavam o que os pesquisadores chamaram de “pseudo-lógica” para justificar e validar suas respostas errôneas, criando uma fachada de raciocínio que mascarava a falha subjacente.

O Paradoxo do Desempenho em Benchmarks e a Realidade

O fato de os LLMs falharem em uma tarefa tão simples é ainda mais surpreendente quando se considera que esses mesmos modelos frequentemente obtêm bons resultados em benchmarks de raciocínio lógico amplamente utilizados. Os pesquisadores argumentam que a tarefa “Alice” evidencia que esses testes padronizados **não conseguem identificar as reais fraquezas dos modelos**. A capacidade de raciocínio lógico, que deveria ser uma força, revela-se frágil e inconsistente.

A equipe de pesquisa levanta a hipótese de que os modelos podem possuir uma **capacidade latente para conclusões lógicas**, mas falham em exercê-la de maneira robusta e confiável. “Nossa hipótese é que as habilidades de generalização e raciocínio central estão, portanto, presentes de forma latente nesses modelos, pois, caso contrário, eles não seriam capazes de gerar tais respostas, já que é impossível adivinhar a resposta correta, incluindo o raciocínio correto completo, por acidente nesses casos”, afirmam no estudo. No entanto, a raridade das respostas corretas e a instabilidade do comportamento do modelo diante de pequenas variações no problema indicam uma **deficiência no controle e aplicação dessas habilidades**.

A Necessidade de Novos Testes e o Futuro da IA

Este estudo reforça descobertas anteriores que já apontavam para a fragilidade dos LLMs em inferências lógicas básicas. Um exemplo citado é a “maldição da reversão”, onde modelos que sabem quem é a mãe de um ator, como Tom Cruise, não conseguem deduzir que o ator é filho dessa mãe. Outra pesquisa recente mostrou que modelos de linguagem agem de forma ainda mais irracional do que humanos ao tirar e justificar conclusões incorretas.

Diante desses resultados, os pesquisadores clamam por uma **reavaliação dos métodos de teste e avaliação dos modelos de linguagem**. Eles acreditam que é crucial desenvolver novos benchmarks que consigam detectar com mais precisão as falhas lógicas e que reflitam de forma mais fiel as verdadeiras capacidades e limitações dessas ferramentas de inteligência artificial. A busca por um raciocínio lógico mais confiável e robusto em IAs é um passo fundamental para garantir seu desenvolvimento seguro e eficaz no futuro.