O Fim de um Paradigma: Benchmark ARC Cede à Otimização de IA
Por anos, o benchmark Abstraction and Reasoning Corpus (ARC) foi considerado um dos últimos redutos da inteligência artificial, um teste rigoroso que prometia diferenciar o verdadeiro aprendizado da mera repetição estatística. No entanto, novos avanços demonstram que até mesmo essa barreira intransponível está cedendo à implacável máquina de otimização dos modernos laboratórios de IA. A empresa Poetiq anunciou recentemente que seus sistemas alcançaram o desempenho máximo no ARC-AGI-1 e, mais notavelmente, superaram a média humana no desafiador ARC-AGI-2.
A Evolução do ARC: De Teste de Inteligência a Alvo de Otimização
Originalmente concebido por François Chollet em 2019 como um contraponto ao paradigma do deep learning, o ARC buscava mensurar a “eficiência na aquisição de habilidades”, ou seja, a capacidade de um sistema aprender novas tarefas em vez de apenas memorizar dados. Durante anos, pesquisadores lutaram com os enigmas em forma de grades coloridas, vendo modelos de linguagem dominarem outros benchmarks enquanto as taxas de sucesso no ARC permaneciam baixas. Para muitos, o ARC se tornou a “Estrela Polar” da pesquisa em Inteligência Artificial Geral (AGI), enquanto para outros, evidenciava as limitações do aumento contínuo dos grandes modelos.
Essa dinâmica, contudo, mudou radicalmente com o surgimento de modelos de raciocínio especializados e técnicas inovadoras como o Treinamento em Tempo de Teste (TTT). Um ponto de virada ocorreu em dezembro de 2024, quando o modelo o3-preview da OpenAI atingiu impressionantes 75% de acerto no ARC-AGI-1. O que começou como um teste de abstração semelhante à inteligência humana está se transformando rapidamente em um alvo de otimização para algoritmos de reforço e busca, com laboratórios ajustando seus sistemas para dominar a lógica específica do ARC.
Poetiq e a Nova Fronteira da IA: Abstração como Otimização
A abordagem da Poetiq combina modelos de linguagem avançados, como o Gemini 3 e o GPT-5.1, com modelos open source integrados a uma arquitetura personalizada. Segundo a empresa, o sistema opera em um loop iterativo: gera soluções propostas, avalia o feedback e refina as respostas por meio de uma autoavaliação antes de finalizar o resultado. Essa metodologia transforma a abstração em um problema de otimização.
O solucionador Poetiq orienta o modelo subjacente a escrever um código que resolve cada tarefa individual. Em seguida, o sistema executa esse código, verifica sua correção e corrige quaisquer erros. Múltiplas execuções independentes são combinadas para aumentar a confiabilidade dos resultados finais. Essa abordagem demonstrou ser particularmente eficaz, com o sistema “Poetiq (GPT-OSS-b)”, baseado no modelo open source GPT-OSS-120B, atingindo mais de 40% de acerto no ARC-AGI-1 por menos de um centavo por tarefa. A era das soluções ARC que exigem computação massiva parece estar chegando ao fim.
O Desafio da Generalização: Contaminação de Dados e a Verdadeira Inteligência
Apesar dos resultados impressionantes, as altas pontuações atuais se aplicam principalmente aos conjuntos de dados “públicos” do ARC. A Poetiq observa que muitos dos LLMs subjacentes apresentam um desempenho significativamente pior ao passar dos conjuntos de avaliação públicos para os “semi-privados”, mantidos pelos administradores do ARC. O provável culpado é a “contaminação de dados”, onde benchmarks públicos acabam sendo incorporados aos dados de treinamento dos grandes modelos.
A verdadeira generalização, argumentam os especialistas, só é comprovada em tarefas que um modelo definitivamente nunca encontrou. Por essa razão, a Poetiq espera que seus sistemas sofram uma queda de desempenho similar no ARC-AGI-1, pois os modelos fundamentais que utilizam podem ter sido expostos a essas tarefas durante seu treinamento. No entanto, o ARC-AGI-2, descrito como “mais rigidamente calibrado”, pode ser mais resistente a esse efeito, pois a Poetiq afirma que seu sistema jamais foi treinado com tarefas específicas do ARC-AGI-2.
O Futuro da IA: Adaptação em Tempo de Teste e a Busca pela AGI
François Chollet, criador do ARC, acompanha de perto essa evolução e enxerga os sucessos recentes como evidência de uma mudança estratégica fundamental no desenvolvimento da IA. Ele argumenta que a antiga estratégia de ampliar a inteligência através de modelos maiores e com mais dados está alcançando seu limite em tarefas como as do ARC. Em vez disso, a área entrou na era da adaptação em tempo de teste.
Os modelos deixaram de ser respostas estáticas, adaptando-se em tempo de execução. Utilizam técnicas semelhantes à síntese de programas e ao raciocínio em cadeia para se reconfigurarem diante de problemas específicos. Para Chollet, isso reforça sua teoria de que a inteligência é um processo de adaptação, e não um acúmulo estático de conhecimento. Ele sustenta que resolver o ARC é um passo necessário rumo à AGI, mas que não equivale à AGI em si, pois os modelos atuais ainda falham em tarefas básicas e carecem de uma compreensão profunda do mundo.
A resposta da indústria foi pragmática, gerando máquinas de raciocínio especializadas que solucionam desafios por meio de loops iterativos e da geração de código. Com o ARC-AGI-1 efetivamente saturado e o ARC-AGI-2 mostrando declínio, o sistema da Poetiq superou a média humana, mesmo sem ter sido treinado especificamente para essas tarefas. O ARC-AGI está, assim, experimentando o ciclo de vida típico de um benchmark: torna-se uma métrica para departamentos de marketing, impulsionando a otimização até que os alvos sejam atingidos.
Isso não significa que a IA esteja pensando como um humano, mas demonstra a adaptabilidade da pesquisa moderna, que pode alcançar quase qualquer alvo abstrato combinando poder computacional, dados sintéticos e métodos sofisticados de busca. O ARC-AGI-1 e o ARC-AGI-2 conseguiram isso ao forçar um foco na capacidade de raciocínio e adaptação. O fato de agora estarem sendo “resolvidos” não configura uma falha do teste, mas prova da eficácia do benchmark para impulsionar o desenvolvimento. Ainda está por ser visto se esses métodos levarão à verdadeira inteligência fluida – embora muitos, inclusive Chollet, acreditem que algo ainda esteja faltando. Chollet já direciona seu olhar para o ARC-AGI-3, que empregará ambientes interativos para testar a “agência” do modelo, isto é, sua capacidade de agir.
Deixe um comentário