Aprendizagem Aninhada: Google cria método contra esquecimento catastrófico

HOPE, Titans e CMS mostram como a Aprendizagem Aninhada preserva memórias em LLMs

A proposta da Aprendizagem Aninhada do Google surge como uma resposta direta a um problema que limita a evolução dos grandes modelos de linguagem, o chamado esquecimento catastrófico. Pesquisadores da empresa apresentam no artigo para a NeurIPS 2025 uma arquitetura que tenta permitir que modelos continuem a aprender novas informações sem apagar o que já foi aprendido, deixando para trás a lógica de apenas “pré-treinar e congelar”.

Como a ideia se inspira no cérebro

A nova abordagem toma a biologia como referência. Conforme os autores explicam, o cérebro humano opera em ritmos distintos, com circuitos rápidos que lidam com o presente, enquanto camadas mais lentas consolidam padrões importantes. Nesse sentido, os pesquisadores afirmam que “os grandes modelos de linguagem não conseguem formar novas memórias de longo prazo após o treinamento.” A analogia é direta, e eles completam que expandir a janela de contexto ou re-treinar o modelo “como se tentássemos tratar a amnésia com um bloco de notas maior” apenas adia o problema.

Para traduzir esse comportamento biológico em arquitetura de redes, a Aprendizagem Aninhada organiza os componentes do modelo conforme a frequência de atualização, criando uma profundidade temporal. A ideia central é que cada parte do sistema, incluindo o otimizador e o estado do treinamento, seja tratada como forma de memória, e que diferentes módulos atualizem-se em ritmos próprios.

HOPE, Titans e o Sistema de Memória Contínua

Na prática, a arquitetura proposta, chamada HOPE, introduz módulos de memória de longo prazo, batizados de Titans, que armazenam informações com base no quão surpreendentes elas são para o modelo. A HOPE organiza camadas rápidas e lentas, e adota um Sistema de Memória Contínua, o CMS, que divide e gerencia essas memórias em blocos que se atualizam em velocidades distintas, ampliando efetivamente a janela de contexto além dos limites tradicionais.

Os autores destacam que, além das camadas de rede, elementos como a retropropagação e o estado do otimizador, por exemplo o momentum, são considerados memórias que influenciam o comportamento do sistema ao longo do tempo. Com essa configuração, o sistema consegue selecionar que experiências devem se consolidar, lembrando o processo de neuroplasticidade — a habilidade do cérebro de se reestruturar sem perder informações essenciais.

Resultados, testes e implicações para LLMs

Os experimentos apresentados pelo Google mostram ganhos consistentes em várias escalas. Em testes de modelagem de linguagem e raciocínio, modelos com 1,3 bilhão de parâmetros treinados em 100 bilhões de tokens indicaram que a HOPE superou arquiteturas como Transformer++, RetNet e DeltaNet. Segundo os autores, “Em avaliações, a HOPE obteve menor perda e melhores pontuações em benchmarks do que outros modelos, mesmo que a margem tenha sido pequena.”

Os testes incluíram também desafios com contextos prolongados e avaliações do tipo “agulha em um palheiro”, onde o modelo precisa encontrar informações específicas em grandes volumes de texto. Os ganhos apareceram em diferentes tamanhos de modelo, com experimentos variando de 340 milhões a 1,3 bilhão de parâmetros, o que sugere que a abordagem pode ser aplicada em múltiplas escalas.

Além dos resultados numéricos, os pesquisadores mencionam a possibilidade de reprodução independente do trabalho. Como registrado na fonte, “Você pode conferir uma reprodução independente no Github.” Essa transparência é relevante para a comunidade, pois favorece verificação externa dos ganhos e a adoção de melhorias por grupos de pesquisa e empresas.

Para o ecossistema de IA, a Aprendizagem Aninhada representa uma mudança de paradigma, ao propor que modelos não precisem mais ser periodicamente re-treinados para incorporar novos fatos, nem depender exclusivamente de janelas de contexto cada vez maiores. Se consolidada em larga escala, a técnica pode reduzir custos, melhorar a confiabilidade de assistentes e agentes inteligentes, e abrir caminho para sistemas que aprendem continuamente sem sacrificar memórias importantes.

Em resumo, a proposta do Google combina inspiração biológica, engenharia de memória e avaliações práticas, oferecendo um caminho promissor para mitigar o esquecimento catastrófico em LLMs, e marcando um avanço importante na busca por modelos que aprendem ao longo do tempo.