IA em Tribunal: Ace Attorney Revela Limites do Raciocínio Artificial

Jogos desafiam IA a ir além da memorização, mostrando avanços e custos no raciocínio.

A inteligência artificial (IA) está cada vez mais presente em nossas vidas, e com o avanço dos modelos de linguagem, surge a necessidade de testar suas capacidades de forma mais profunda. Pesquisadores da Universidade da Califórnia em San Diego, através do Hao AI Lab, encontraram uma maneira inusitada e eficaz de avaliar o raciocínio de IAs de ponta: utilizando o popular videogame Phoenix Wright: Ace Attorney. Este jogo, conhecido por sua complexidade em coletar evidências, identificar contradições e desvendar mentiras, tornou-se um campo de provas para modelos como o o1 da OpenAI e o Gemini 2.5 Pro.

Ace Attorney: Um Desafio Inédito para a IA

A escolha de Ace Attorney não foi aleatória. Conforme explicado pela equipe de pesquisa, o jogo exige que os jogadores naveguem por extensas conversas, identifiquem inconsistências durante interrogatórios e selecionem as evidências corretas para refutar depoimentos. Essa dinâmica vai muito além da simples análise de texto ou imagem, forçando a IA a realizar um raciocínio contextualizado. Os modelos precisam não apenas processar informações, mas também utilizá-las de forma estratégica para alcançar um objetivo, o que dificulta o overfitting, um problema comum em modelos de IA onde eles memorizam dados de treinamento em vez de realmente aprender.

O overfitting ocorre quando um modelo de linguagem memoriza os dados de treinamento, incluindo aleatoriedades e erros, de forma que seu desempenho em novos exemplos seja prejudicado. Esse problema também se verifica em modelos de raciocínio otimizados para tarefas matemáticas e de programação. Embora esses modelos possam se tornar mais eficientes na busca por soluções corretas, essa eficiência tende a reduzir a diversidade dos caminhos considerados. O design de Ace Attorney, portanto, impulsiona a IA para além de tarefas puramente textuais e visuais, exigindo que ela converta o entendimento em ações adaptadas ao contexto.

Desempenho e Custos: o1 Lidera, Gemini Oferece Custo-Benefício

Os testes revelaram diferenças significativas no desempenho e no custo dos modelos. O o1 da OpenAI e o Gemini 2.5 Pro foram os modelos que avançaram mais longe nos desafios propostos pelo jogo, alcançando o Nível 4. No entanto, em casos mais complexos, o o1 demonstrou um desempenho superior. Com pontuações de 26 e 20, respectivamente, os modelos o1-2024-12-17 e Gemini-2.5-Pro obtiveram os melhores resultados gerais no teste de desempenho de Ace Attorney.

A pesquisa, parcialmente inspirada por uma comparação feita pelo cofundador da OpenAI, Ilya Sutskever, que associou a previsão da próxima palavra ao entendimento de uma história de detetive, buscou avaliar a capacidade de raciocínio em um ambiente mais dinâmico e menos previsível. Sutskever recentemente garantiu financiamento adicional de vários bilhões de euros para uma nova iniciativa em IA, o que sublinha a importância crescente desta área de pesquisa.

Gemini 2.5 Pro: A Opção Econômica que Conquista o Tribunal

Apesar do desempenho notável do o1 em cenários desafiadores, o Gemini 2.5 Pro se destacou em outro aspecto crucial: o custo-benefício. Segundo o Hao AI Lab, o Gemini 2.5 Pro é significativamente mais econômico, sendo de seis a quinze vezes mais barato que o o1, dependendo do cenário. Em um caso particularmente extenso do Nível 2, o o1 gerou custos superiores a US$ 45,75, enquanto o Gemini 2.5 Pro completou a mesma tarefa por apenas US$ 7,89. Essa diferença substancial torna o Gemini 2.5 Pro uma alternativa atraente para aplicações que exigem raciocínio complexo sem um custo proibitivo.

Além disso, o Gemini 2.5 Pro superou o GPT-4.1, um modelo não otimizado especificamente para raciocínio, em termos de custo. O Gemini registrou US$ 1,25 por milhão de tokens de entrada, em comparação aos US$ 2 do GPT-4.1. Os pesquisadores ressaltam, contudo, que os custos reais podem ser um pouco maiores devido às exigências do processamento de imagens, um componente essencial em jogos como Ace Attorney.

O Benchmark Game Arena e o Futuro dos Testes de IA

Este estudo sobre Ace Attorney faz parte de um projeto maior do Hao AI Lab, denominado Game Arena. Anteriormente, o laboratório já havia avaliado modelos de linguagem em jogos como 2048, Tetris, Sokoban e Candy Crush. Desde fevereiro, a equipe tem expandido suas avaliações para incluir títulos como Super Mario. Dentre os jogos testados até o momento, Ace Attorney se sobressai como o título com as mecânicas mais exigentes no que diz respeito à capacidade de raciocínio da IA.

A metodologia de utilizar jogos para testar IAs oferece uma abordagem prática e dinâmica, que vai além dos benchmarks tradicionais. Ao forçar os modelos a interagir com um ambiente complexo, tomar decisões estratégicas e lidar com informações variáveis, os pesquisadores obtêm uma compreensão mais realista das capacidades e limitações da inteligência artificial. O sucesso em Ace Attorney, portanto, não é apenas uma vitória no jogo, mas um passo importante para o desenvolvimento de IAs mais capazes e confiáveis em tarefas que exigem raciocínio lógico e adaptativo.