Nvidia Nemotron 3: IA Híbrida Revoluciona Agentes com Mamba e Transformers

Nova arquitetura da Nvidia promete eficiência sem precedentes para agentes de IA, combinando Mamba e Transformers.

A Nvidia deu um passo significativo no desenvolvimento de inteligência artificial com o lançamento da família **Nemotron 3**. Esta nova geração de modelos de IA não se limita a uma única arquitetura, mas adota uma **abordagem híbrida inovadora**, combinando as eficiências da arquitetura **Mamba** com a robustez dos **Transformers**. O objetivo principal é aprimorar o desempenho de **agentes de IA**, permitindo que eles gerenciem tarefas complexas de forma autônoma e por períodos extensos, sem sobrecarregar os recursos computacionais.

A linha Nemotron 3 é composta por três modelos: Nano, Super e Ultra. O modelo Nano já está disponível para uso, enquanto as versões Super e Ultra estão previstas para serem lançadas no primeiro semestre de 2026. Essa estratégia da Nvidia visa atender a uma demanda crescente por IA mais eficiente e acessível, especialmente em aplicações que exigem processamento de grandes volumes de dados e longas sequências de informação.

A Combinação Mamba e Transformer para Eficiência Máxima

Ao contrário de modelos que dependem exclusivamente da arquitetura Transformer, a Nvidia optou por uma configuração híbrida. Esta combinação integra as **camadas eficientes do Mamba 2** com elementos dos Transformers, além de uma estratégia de **Mistura de Especialistas (MoE)**. Essa arquitetura híbrida é crucial para reduzir o consumo de recursos, especialmente ao lidar com sequências de entrada longas. Enquanto os Transformers puros veem o uso de memória crescer linearmente com o tamanho da entrada, as camadas Mamba conseguem manter um estado constante durante a geração de texto, uma vantagem notável em termos de eficiência.

O suporte para uma **janela de contexto de um milhão de tokens** coloca o Nemotron 3 em pé de igualdade com modelos de ponta de empresas como OpenAI e Google. Isso significa que agentes de IA equipados com Nemotron 3 podem manter em sua memória repositórios inteiros de código ou históricos de conversas extensos, sem um aumento proibitivo na demanda por hardware. Essa capacidade é fundamental para a criação de agentes de IA mais sofisticados e com maior capacidade de aprendizado e adaptação.

Nemotron 3 Nano: Precisão e Velocidade em Destaque

O modelo **Nemotron 3 Nano** é um exemplo notável dessa nova arquitetura. Ele possui um total de 31,6 bilhões de parâmetros, mas apenas 3 bilhões são ativados em cada etapa do processamento. Em benchmarks como o Artificial Analysis Index, o modelo Nano demonstrou uma precisão comparável a modelos open source como o gpt-oss-20B. No entanto, o grande diferencial é sua **taxa de processamento de tokens significativamente superior**. De acordo com o Artificial Analysis, o modelo Nano requer 160 milhões de tokens para um teste, superando os 110 milhões exigidos por seu concorrente Qwen3-VL.

Esses resultados posicionam o Nemotron 3 Nano em um lugar de destaque, combinando **alta precisão com a maior velocidade na geração de texto**. Essa dualidade é essencial para aplicações de IA que precisam responder rapidamente e de forma confiável, como em sistemas de atendimento ao cliente, assistentes virtuais avançados e ferramentas de desenvolvimento de software.

Avanços Arquiteturais para os Modelos Super e Ultra

Para os modelos maiores, **Super e Ultra**, a Nvidia introduziu duas mudanças arquiteturais ainda mais significativas. A primeira é o **LatentMoE**, uma inovação que resolve o problema de consumo de largura de banda de memória comum em modelos MoE padrão, onde o roteamento direto de tokens para redes especializadas pode ser um gargalo. O LatentMoE projeta os tokens em uma **representação latente compacta** antes do processamento. Isso aumenta drasticamente o número de especialistas disponíveis e a quantidade de especialistas ativos por token, sem comprometer a velocidade de inferência.

Ao comprimir os dados em um espaço latente, o sistema consegue utilizar um número maior de especialistas de forma eficiente. Isso permite uma personalização mais profunda e um processamento mais especializado das informações, sem que isso se traduza em um aumento da carga computacional. Essa técnica representa um avanço considerável na escalabilidade e eficiência de modelos de IA complexos.

A segunda inovação é a **previsão de múltiplos tokens (MTP)**, utilizada nos modelos Super e Ultra. Durante o treinamento, em vez de prever apenas o próximo token, o modelo prevê **simultaneamente vários tokens futuros**. Essa abordagem tem o potencial de aprimorar o **raciocínio lógico** dos modelos e acelerar significativamente a geração de textos. Os modelos Super e Ultra também se beneficiarão do novo formato **NVFP4 de 4 bits**, desenvolvido especificamente para a arquitetura de GPU Blackwell, otimizando ainda mais o desempenho.

Transparência e Acesso aos Dados de Treinamento

Um aspecto incomum e notável deste lançamento é a **transparência da Nvidia** em relação aos dados de treinamento. A empresa disponibilizou os pesos do modelo Nano, juntamente com as receitas de treinamento e a maioria dos conjuntos de dados, através da plataforma Hugging Face. Entre os dados disponibilizados estão:

• CodeParrot: um grande corpus de código aberto.
• The Pile: uma coleção diversificada de textos.
• OpenWebText: um conjunto de dados de texto extraído da web.
• SlimPajama: um corpus de texto de alta qualidade.

Os modelos foram treinados utilizando técnicas de **reinforcement learning** em múltiplos ambientes simultaneamente. Essa abordagem ajuda a evitar a degradação do desempenho em uma área enquanto há melhorias em outra, garantindo um desenvolvimento mais equilibrado. Desenvolvedores têm a flexibilidade de integrar seus próprios ambientes de RL através da biblioteca **open source NeMo Gym**, disponível no site da Nvidia.

Este lançamento reforça a estratégia recente da Nvidia de focar em **modelos de linguagem menores e otimizados para tarefas baseadas em agentes**. A empresa parece estar priorizando a **velocidade e a eficiência** em detrimento da performance bruta em todos os cenários. É importante notar que a nomenclatura pode gerar confusão, pois já houve uma versão anterior, o Nemotron-4, lançada no verão de 2024, que se concentra em dados de treinamento sintéticos. O Nemotron 3 representa, portanto, uma evolução focada na eficiência e na arquitetura híbrida para agentes de IA.