Modelos de raciocínio: Eficientes, mas não mais capazes, aponta estudo

Novas pesquisas indicam que o aprendizado por reforço aprimora a eficiência, mas não expande as capacidades intrínsecas dos LLMs.

Um estudo recente conduzido pela Universidade de Tsinghua e pela Universidade Shanghai Jiao Tong lança uma nova luz sobre os chamados modelos de raciocínio, frequentemente apresentados como um avanço significativo no campo da inteligência artificial. A pesquisa investiga se o método de aprendizado por reforço com recompensas verificáveis, conhecido como RLVR, realmente aprimora a capacidade de raciocínio dos grandes modelos de linguagem (LLMs) ou se, na verdade, apenas os torna mais eficientes em reproduzir soluções já existentes. Os resultados indicam que, embora o RLVR aumente a probabilidade de se obter uma resposta correta na primeira tentativa – métrica conhecida como pass@1 –, ele não desbloqueia novas capacidades fundamentais nos modelos.

O pesquisador Yang Yue, um dos autores do estudo, resumiu as descobertas de forma clara: “O RLVR não é tão poderoso quanto se acreditava anteriormente – ele não possibilita que o modelo resolva problemas que o modelo base não conseguiria resolver”. Esta constatação desafia a percepção de que o RLVR seria um salto qualitativo em termos de inteligência artificial.

Mesmo figuras proeminentes no campo, como o CEO da OpenAI, Sam Altman, parecem estar cientes dessas limitações. Altman já sugeriu que a combinação de habilidades de raciocínio com um “modelo muito maior” – obtido através de pré-treinamento extensivo – poderia, eventualmente, levar aos “primeiros sinais de vida ou algo semelhante à emergência de um novo conhecimento científico genuíno”. Essa observação sugere que o fator escala, e não apenas o reforço isoladamente, pode ser a verdadeira chave para avanços substanciais nas capacidades de raciocínio dos LLMs.

RLVR: Eficiência em detrimento da Diversidade

O RLVR é uma técnica amplamente utilizada no treinamento de modelos de raciocínio, especialmente em tarefas onde os resultados podem ser facilmente verificados, como matemática, programação e raciocínio visual. Em vez de depender de feedback humano, essa abordagem utiliza sinais automáticos – como a correção de um cálculo matemático ou a aprovação em testes de código – como critério de recompensa. Essa estratégia tem sido aplicada tanto em modelos desenvolvidos pela OpenAI quanto em outros, como o Deepseek-R1.

No entanto, o estudo revela um efeito colateral importante: o RLVR tende a reduzir a diversidade das saídas dos modelos. Ao concentrar as respostas em alguns caminhos de solução que oferecem alta recompensa, o modelo se torna mais propenso a acertar de primeira. Contudo, essa especialização limita a capacidade do modelo de explorar caminhos alternativos e menos óbvios ao longo de múltiplas gerações de respostas.

Os pesquisadores compararam modelos base com suas variantes treinadas com RLVR utilizando a métrica pass@k, que mede se pelo menos uma resposta correta aparece entre um conjunto de ‘k’ tentativas. Os modelos aprimorados com RLVR apresentaram melhor desempenho quando poucas respostas eram amostradas, graças ao seu foco em estratégias de alta probabilidade. Por outro lado, quando um número maior de respostas era gerado, os modelos base se sobressaíram, produzindo uma gama mais ampla de soluções, independentemente do modelo específico ou do tipo de tarefa.

Esse padrão foi observado consistentemente em tarefas de matemática, programação e raciocínio visual. Modelos treinados com RLVR frequentemente alcançavam o sucesso na primeira tentativa, mas mostravam um desempenho inferior quando testados em um cenário de múltiplas tentativas, evidenciando a perda de variedade em suas abordagens.

Análise Detalhada Revela Padrões de Raciocínio

Uma análise manual detalhada do encadeamento de raciocínio – o processo passo a passo que o modelo utiliza para chegar a uma resposta – revelou que os modelos base já possuíam a capacidade de resolver tarefas complexas. Eles empregavam estratégias variadas, algumas das quais haviam sido anteriormente atribuídas apenas aos modelos treinados com reforço. Visualizações dos caminhos de raciocínio confirmaram que o RLVR não introduziu novos comportamentos ou estratégias, mas sim aumentou a probabilidade de o modelo selecionar estratégias bem-sucedidas que já estavam presentes em seu repertório original.

A pesquisa também incluiu uma ilustração gráfica que demonstra como o treinamento com RLVR afeta o desempenho de raciocínio nos modelos de linguagem. Enquanto essa técnica aumenta a eficiência em uma tarefa específica (Tarefa A), ela pode restringir a capacidade do modelo de generalizar para outras tarefas (Tarefa B). Isso evidencia uma compensação inerente na otimização para diferentes tipos de problemas, onde a especialização em um domínio pode vir à custa da adaptabilidade em outros.

RLVR: Auxílio na Repetição, Não na Generalização

O pesquisador em inteligência artificial Nathan Lambert descreve os achados como consistentes com as expectativas da área. “Isto não é uma nova intuição”, escreve ele, “mas um novo conjunto de resultados interessantes.” Segundo Lambert, o estudo demonstra de forma robusta que o RLVR reduz a entropia das amostras, tornando o modelo mais eficaz em acertar de primeira (pass@1).

Ele também ressalta uma limitação importante do estudo: a amplitude restrita dos dados de treinamento. Os modelos foram treinados apenas com os conjuntos de dados MATH e GSM8K. Lambert considera esses conjuntos “ótimos para ablações controladas”, mas “não ideais para mostrar os limites fundamentais do treinamento com RL.” Consequentemente, ele argumenta que conclusões mais abrangentes sobre o RLVR exigiriam a ampliação dessa abordagem de treinamento.

“A OpenAI e outros já demonstraram que aumentar a escala do RL é um aspecto crucial, e com esses conjuntos de treinamento restritos isso realmente não é possível”, afirma Lambert. Ele sugere que o estudo, ao invés de ser uma crítica ao aprendizado por reforço como um todo, destaca a necessidade de avançar e enfrentar desafios mais complexos. “Estamos apenas chegando ao ponto em que precisamos fazer coisas difíceis. Coisas difíceis são mais interessantes, mas, surpresa, elas são difíceis e demandam mais tempo.”

Yang Yue, por sua vez, enfatiza que o estudo focou em modelos de RL treinados do zero, sem aprimoramentos adicionais como o ajuste fino com encadeamento de raciocínio (chain-of-thought) ou destilação de conhecimento. “Aqui focamos em modelos treinados com zero-RL. O modelo da OpenAI, por exemplo, deve contar com ajuste fino adicional com COT e destilação, etc.”, explica. Ele concorda que etapas adicionais, como o início do treinamento com ajuste fino supervisionado, poderiam potencialmente melhorar os resultados para os modelos de raciocínio, indicando que o caminho para LLMs mais capazes ainda envolve múltiplas técnicas e abordagens combinadas.