IA Avançada Falha em Física: Gemini 3 Pro e GPT-5 Não São Cientistas Autônomos

IA Avançada Falha em Física: Gemini 3 Pro e GPT-5 Não São Cientistas Autônomos

A promessa de inteligência artificial (IA) revolucionando a pesquisa científica enfrenta um novo obstáculo. Um benchmark inovador, batizado de “CritPt”, foi desenvolvido por mais de 50 físicos de 30 instituições para testar a capacidade de modelos de IA em resolver problemas de física complexos, equivalentes ao nível de um estudante de doutorado iniciante. Os resultados iniciais, no entanto, são um alerta: mesmo sistemas de ponta como o Gemini 3 Pro e o GPT-5 ainda estão longe de demonstrar a autonomia e o rigor necessários para atuar como cientistas.

O Desafio “CritPt”: Indo Além da Memorização

O objetivo do CritPt vai muito além de avaliar a capacidade dos modelos de IA em reproduzir informações de livros didáticos. A proposta é desafiar a IA com problemas inéditos, simulando o trabalho de um pós-graduando engajado em um projeto de pesquisa independente. Essa abordagem visa verificar se a IA pode verdadeiramente auxiliar os pesquisadores a expandir as fronteiras do conhecimento na física moderna.

O benchmark compreende 71 desafios completos, abrangendo onze áreas distintas da física, incluindo física quântica, astrofísica, física de altas energias e biofísica. Para garantir que as respostas não sejam meros palpites ou cópias de dados existentes, todos os problemas são fundamentados em materiais inéditos. Cada desafio foi meticulosamente dividido em 190 “pontos de verificação” menores, permitindo uma análise detalhada do progresso dos modelos em cada etapa.

Desempenho Preocupante dos Modelos de Ponta

As primeiras avaliações independentes, conduzidas pela Artificial Analysis, revelam um cenário preocupante. O Gemini 3 Pro Preview do Google alcançou uma acurácia de apenas 9,1%, utilizando 10% menos tokens que o GPT-5.1 (high) da OpenAI. Este último, posicionado em segundo lugar, obteve uma acurácia ainda menor, de 4,9%. Mesmo liderando o ranking, a grande maioria das tarefas propostas pelo CritPt não foi solucionada pelos sistemas de IA.

Essa performance indica que o raciocínio em nível de doutorado, que exige compreensão profunda, criatividade e a capacidade de lidar com o desconhecido, permanece um grande desafio para as IAs atuais. A falta de precisão e robustez em tarefas complexas é um ponto de atenção para a comunidade científica e para o desenvolvimento futuro da inteligência artificial.

Fragilidade no Raciocínio e o Futuro da IA na Pesquisa

Os resultados do CritPt lançam um alerta sobre as limitações atuais dos modelos de linguagem. Eles carecem, em grande parte, do rigor, da criatividade e da precisão indispensáveis para a resolução autônoma de problemas abertos na física. Embora haja uma melhora mensurável em subtarefas mais simples e bem definidas, o que sugere um potencial papel de apoio em etapas específicas da pesquisa, a autonomia total ainda está distante.

A equipe de desenvolvimento também testou a consistência dos modelos através de uma métrica rigorosa, a “taxa de resolução consistente”, que exige que o modelo acerte a resposta correta em quatro de cinco tentativas. Com essa exigência, o desempenho dos sistemas despenca drasticamente, evidenciando a fragilidade de seu raciocínio, mesmo em tarefas que ocasionalmente conseguem resolver. Essa falta de robustez é um desafio sério para os fluxos de trabalho em pesquisa, pois os modelos podem gerar respostas convincentes, porém com erros sutis e difíceis de detectar, levando a conclusões equivocadas e exigindo revisão minuciosa por especialistas humanos.

Diante desse cenário, os pesquisadores argumentam que o objetivo mais realista para o futuro próximo não é substituir os especialistas humanos por um “cientista IA”, mas sim criar um “assistente de pesquisa”. Essa ferramenta seria capaz de automatizar etapas específicas dos fluxos de trabalho científicos. Essa visão está alinhada com os planos da indústria, que prevê o lançamento de um sistema de estagiário de pesquisa até setembro de 2026 e um pesquisador totalmente autônomo até março de 2028. Já há relatos de que o GPT-5 tem contribuído para a redução do tempo gasto por pesquisadores em suas atividades diárias, demonstrando o potencial da IA como ferramenta auxiliar.