Rednote lança LLM open-source com arquitetura inovadora e baixo custo

Rednote Inova com Lançamento de LLM Open-Source de Arquitetura Inédita

A Rednote, conhecida empresa de mídias sociais, anunciou um marco significativo em sua trajetória com o lançamento de seu primeiro Grande Modelo de Linguagem (LLM) de código aberto. Denominado dots.llm1, o sistema emprega uma arquitetura de Mistura de Especialistas (Mixture-of-Experts, ou MoE), projetada para equiparar o desempenho de modelos de ponta no mercado, mas com uma fração considerável do custo computacional. Esta abordagem representa um avanço notável na busca por LLMs mais eficientes e acessíveis.

Eficiência e Desempenho Otimizados pela Arquitetura MoE

De acordo com o relatório técnico divulgado pela Rednote, o dots.llm1 opera com 14 bilhões de parâmetros ativos de um total de 142 bilhões. A arquitetura MoE é a chave para essa eficiência, pois divide o modelo em 128 módulos especialistas distintos. Desses, apenas os seis melhores são ativados para processar cada token, somados a dois módulos que permanecem sempre em funcionamento. Essa seletividade garante que os recursos computacionais sejam utilizados de forma otimizada, sem comprometer a qualidade e a precisão das respostas do modelo.

A Rednote destaca os ganhos expressivos em eficiência de treinamento. O processo de treinar o dots.llm1 com um trilhão de tokens demandou apenas 130 mil horas de GPU. Em comparação, o modelo Qwen2.5-72B exigiu 340 mil horas para um treinamento similar. Considerando todo o processo de pré-treinamento, o dots.llm1 consumiu 1,46 milhão de horas de GPU, enquanto o Qwen2.5-72B necessitou de 6,12 milhões de horas, o que representa cerca de quatro vezes mais. Apesar da diferença nos recursos empregados, a empresa assegura que ambos os modelos entregam resultados comparáveis.

Os benchmarks demonstram que o dots.llm1 consegue equiparar o desempenho do Qwen2.5-72B, utilizando apenas um quinto dos parâmetros ativos. Gráficos comparativos entre modelos MoE e arquiteturas densas reforçam essa afirmação, evidenciando a viabilidade e a eficácia da abordagem da Rednote.

Destaque para Tarefas em Chinês e Competitividade em Outras Áreas

Os testes de desempenho indicam que o dots.llm1 apresenta uma performance particularmente notável em tarefas que envolvem a língua chinesa. Em benchmarks específicos como o C-Eval, que avalia o conhecimento abrangente do idioma, e o CMMLU, uma variante chinesa do MMLU, o modelo da Rednote supera tanto o Qwen2.5-72B quanto o Deepseek-V3. Este resultado sublinha a capacidade do modelo em compreender e gerar conteúdo em chinês com alta proficiência.

No que diz respeito aos benchmarks em inglês, o dots.llm1 mostra um desempenho ligeiramente inferior em comparação com os principais concorrentes. Em testes como o MMLU e o mais desafiador MMLU-Pro, que avaliam conhecimento geral e raciocínio lógico, o modelo da Rednote apresenta resultados um pouco abaixo do Qwen2.5-72B. Contudo, a empresa ressalta que a diferença é pequena e que o modelo continua a ser uma opção robusta.

Em tarefas de matemática, o dots.llm1 entrega resultados sólidos, embora geralmente fique um pouco atrás dos modelos de maior porte disponíveis no mercado. Por outro lado, sua capacidade de geração de código se destaca de forma impressionante. No HumanEval, um benchmark padrão para avaliação de programação, o dots.llm1 não só supera o Qwen2.5-72B, como também se mantém altamente competitivo em outras tarefas relacionadas à codificação, demonstrando um forte potencial para desenvolvedores.

Dados de Treinamento de Alta Qualidade e Inovações no Pipeline

Um dos pilares do sucesso do dots.llm1 reside na qualidade de seus dados de treinamento. A Rednote utilizou um corpus de 11,2 trilhões de tokens de alta qualidade, compostos exclusivamente por textos reais extraídos da internet, sem a utilização de dados sintéticos. O pipeline de preparação de dados envolve três etapas principais: preparação dos documentos, filtragem baseada em regras e processamento via modelo. Duas inovações se destacam neste processo: um sistema que elimina elementos distrativos de páginas web, como anúncios e barras de navegação, e um método de categorização automatizada de conteúdos.

O sistema de filtragem de dados da Rednote, com um classificador de 200 categorias, foi desenvolvido para otimizar a composição dos dados de treinamento. Essa abordagem visa aumentar a proporção de conteúdos factuais e baseados em conhecimento, como artigos científicos e entradas de enciclopédias, ao mesmo tempo em que reduz a presença de conteúdos como ficção e páginas de produtos. Essa curadoria rigorosa contribui diretamente para a qualidade e confiabilidade do modelo.

Open Source, Ambições Globais e o Futuro da IA na Rednote

Em linha com seu compromisso com a comunidade de pesquisa em IA, a Rednote está disponibilizando checkpoints intermediários do treinamento do dots.llm1. Essa iniciativa permite que pesquisadores acompanhem a dinâmica do desenvolvimento de LLMs em larga escala. Os modelos estão acessíveis na plataforma Hugging Face sob a licença Apache 2.0, com o código-fonte disponível no GitHub, promovendo a colaboração e a inovação aberta.

Com uma base de 300 milhões de usuários mensais, a Rednote entra em um mercado de IA chinês altamente competitivo, disputado por gigantes como Alibaba, Baidu, Tencent, Bytedance e a emergente Deepseek. O novo LLM foi desenvolvido pelo Humane Intelligence Lab da Rednote, uma divisão da equipe de IA da empresa que tem expandido seu quadro de pesquisadores com formação em áreas humanas, buscando uma abordagem multidisciplinar para o desenvolvimento de IA.

A empresa já está testando um assistente de pesquisa em IA chamado Diandian em sua plataforma, impulsionado pelo dots.llm1. Recentemente, o aplicativo de mídia social ganhou atenção internacional como uma potencial alternativa para usuários americanos em meio a discussões sobre o banimento do TikTok, embora o interesse fora da China tenha diminuído após a revogação da medida.

A Rednote demonstra ambições de expansão global com a inauguração de seu primeiro escritório fora da China continental em Hong Kong, em 7 de junho. A empresa planeja um crescimento internacional ainda maior. Segundo a Bloomberg, a avaliação da Rednote atingiu US$ 26 bilhões este ano, superando o pico da pandemia, com planos para uma oferta pública inicial (IPO) prevista para o final de 2025.