IA ainda falha na verdade: Novo benchmark FACTS revela desafios

Mesmo os modelos de ponta como Gemini e GPT mostram limitações em precisão factual, indicando a necessidade de cautela.

Um novo e abrangente **benchmark**, denominado **FACTS**, desenvolvido pela Google Deepmind, está lançando luz sobre as **dificuldades persistentes que até mesmo os modelos de inteligência artificial mais avançados enfrentam para lidar com a verdade**. Os resultados desta avaliação inovadora revelam que gigantes da IA, como o **Gemini 3 Pro** e o **GPT-5.1**, ainda estão longe de alcançar a perfeição em termos de **precisão factual**.

A Necessidade de um Novo Padrão de Avaliação

Pesquisadores da Google Deepmind conceberam o **FACTS Benchmark** com o objetivo de oferecer uma medição mais completa da **confiabilidade** dos grandes modelos de linguagem (LLMs). Diferentemente de testes anteriores que avaliavam habilidades de forma isolada, o FACTS Benchmark reúne desempenhos em **quatro categorias cruciais**: compreensão visual, conhecimento interno, pesquisa na web e evidência textual. Essa abordagem integrada visa capturar um quadro mais realista das capacidades de um modelo, reconhecendo que a excelência em uma área não garante precisão em todas.

A limitação dos testes anteriores era evidente. Um modelo poderia demonstrar maestria em resumir documentos extensos, por exemplo, mas falhar drasticamente ao recuperar fatos específicos de sua memória interna. O **FACTS Benchmark** busca superar essa lacuna, oferecendo uma visão holística da **precisão factual**.

Resultados do Benchmark FACTS: Quem Lidera e Onde Estão as Falhas

Nas avaliações gerais, o modelo **Gemini 3 Pro**, desenvolvido pela própria Google, emergiu como o líder, alcançando uma pontuação de **68,8**. Em seguida, vieram o Gemini 2.5 Pro com **62,1** e o GPT-5 com **61,8**. No entanto, essas pontuações, embora representem o estado da arte, indicam que ainda há um caminho considerável a percorrer.

Os resultados demonstram **discrepâncias claras entre as disciplinas avaliadas**. O Gemini 3 Pro, por exemplo, obteve um desempenho notável nas categorias de “Search” (pesquisa na web), com **83,8%**, e “Parametric” (conhecimento interno), com **76,4%**. Contudo, sua performance caiu drasticamente para **46,1%** na categoria “Multimodal”, que envolve a compreensão de elementos visuais e textuais combinados.

O GPT-5 apresentou flutuações semelhantes. Ele se mostrou forte em pesquisa, com **77,7%**, mas significativamente mais fraco na recuperação de fatos internos, atingindo apenas **55,8%**. Essa variação sublinha a **complexidade de construir modelos de IA que sejam consistentemente precisos em todas as formas de informação**.

Kaggle: A Plataforma para Garantir Integridade e Transparência

Para assegurar a **integridade e a viabilidade a longo prazo** do benchmark, o **FACTS Leaderboard** está hospedado na renomada plataforma de ciência de dados **Kaggle**. Essa escolha permite que desenvolvedores submetam seus modelos diretamente na plataforma para uma **avaliação automática**, promovendo um ambiente competitivo e transparente.

O Kaggle adota uma estratégia inteligente para evitar manipulações, dividindo os dados de teste em **conjuntos públicos e privados**. Apenas uma parte dos prompts é visível ao público, enquanto o restante é mantido em segredo. Essa medida impede que os modelos sejam especificamente otimizados para as perguntas do teste, garantindo que a avaliação reflita a **capacidade geral de generalização e precisão factual**.

A Importância da “Evasão Estratégica” no Tratamento da Incerteza

Um detalhe fascinante observado no estudo é a forma como os modelos lidam com a **incerteza**, especialmente na categoria paramétrica. Os pesquisadores distinguem entre **precisão pura** e **”precisão tentada”**, que leva em conta a capacidade do modelo de admitir quando não sabe a resposta.

Por exemplo, o modelo **GPT-5** demonstrou uma taxa de evasão de **13,3%**, indicando que ele frequentemente se recusa a responder perguntas sobre as quais possui incerteza. Em contraste, o GPT-o3, com uma taxa de recusa de apenas **1,9%**, quase sempre tenta fornecer uma resposta, mas sua **precisão absoluta não é significativamente superior**. Graças a essa **”silêncio estratégico”** diante da dúvida, o GPT-5 alcançou uma precisão tentada de **64,3%**, superando os **58,2%** do GPT-o3.

Essa distinção é crucial e tem implicações no mundo real. O recentemente publicado **Omniscience Index**, um benchmark similar focado na confiabilidade da IA, revelou uma falha crítica: quando o Gemini 3 Pro não conseguia fornecer uma resposta, ele **alucinava uma resposta em 88% das vezes**, em vez de admitir a falta de conhecimento. Esse comportamento, conhecido como **”alucinação”**, pode ser mais prejudicial do que admitir a ignorância.

Embora o Gemini 3 Pro tenha liderado o Omniscience Index, os dados sobre a **”evasão”** nos resultados do **FACTS Benchmark** da Deepmind demonstram que modelos como o GPT-5 às vezes agem com mais cautela. Ambas as análises concluem que o **tamanho massivo do modelo e a inteligência geral não são garantias automáticas contra erros factuais**. A busca por **IA confiável e precisa** continua sendo um desafio fundamental para a área.