Rumores apontam 8 experts de 220B e inferência em 16 iterações no GPT-4
Novas especulações sobre o GPT-4 reacenderam o debate sobre como grandes modelos de linguagem são projetados e treinados. Fontes que circulam no meio de tecnologia afirmam que o sistema da OpenAI utiliza uma arquitetura do tipo Mixture of Experts, e que sua capacidade deriva de uma composição de vários especialistas treinados separadamente. Entre as informações que ganharam mais atenção está a alegação de que o modelo teria 1,76 trilhão de parâmetros, um número que, se confirmado, o colocaria entre os maiores modelos já discutidos publicamente.
O que Geohot revelou sobre o GPT-4
As informações sobre a possível estrutura do GPT-4 foram atribuídas a George Hotz, fundador da Comma.ai e conhecido por trabalhos controversos no passado, incluindo desbloqueios do iPhone e do PlayStation 3. Em sua postagem e na reação de outros especialistas, circulou a tradução do trecho mais citado: “GPT-4: 8 x 220B experts trained with different data/task distributions and 16-iter inference”, que pode ser entendida como “GPT-4: 8 experts de 220B treinados com diferentes distribuições de dados/tarefas e inferência em 16 iterações”. Essa descrição indica uma montagem de modelos menores, cada um com cerca de 220 bilhões de parâmetros, trabalhando em conjunto.
Embora não exista um comunicado oficial da OpenAI confirmando esses números, a publicação de Hotz foi amplamente comentada entre especialistas, e alguns chegaram a dizer que “i might have heard the same 😃 — I guess info like this is passed around but no one wants to say it out loud”. A repercussão sugere que a hipótese é considerada plausível por quem acompanha o desenvolvimento de grandes IAs.
Como funciona a arquitetura Mixture of Experts
A arquitetura Mixture of Experts, ou MoE, é uma técnica conhecida há décadas, e, como já se comentou, “essa ideia tem quase 30 anos”. Na prática, um modelo MoE combina vários submodelos, chamados de “experts”, e usa um mecanismo de roteamento para decidir quais experts serão usados para cada entrada, permitindo que cada expert se especialize em partes distintas do espaço de dados. Essa abordagem pode reduzir o custo computacional em inferência, ao ativar apenas uma fração dos parâmetros para cada solicitação.
Um exemplo moderno de aplicação dessa ideia é o Switch Transformer do Google, que demonstrou ganhos de eficiência ao aplicar MoE em larga escala. No caso do suposto desenho do GPT-4, a hipótese é que oito experts de 220 bilhões, combinados, resultariam no comportamento de um sistema com ordem de grandeza de trilhões de parâmetros, sem necessariamente ativar todos esses pesos em cada inferência.
Impacto para o código aberto e para a indústria
Analistas e desenvolvedores destacam que a adoção de uma arquitetura MoE pelo GPT-4 explicaria como a OpenAI poderia coordenar grandes equipes trabalhando em partes distintas do modelo, e também como recursos multimodais foram desenvolvidos em paralelo, para depois serem integrados ao produto final. Há ainda a especulação, citada por nomes do setor, de que o grande modelo poderia ter sido mesclado em uma versão menor, mais eficiente, antes do lançamento, conforme mencionado por pessoas como Soumith Chintala, ligado ao projeto PyTorch.
Além disso, Hotz sugeriu que o sistema não entrega uma única resposta, mas um processo iterativo, com algo como 16 iterações de refinamento, o que mudaria a forma como medimos latência e qualidade em modelos de grande escala. Para a comunidade de código aberto, essas pistas representam uma oportunidade, pois, embora a tecnologia MoE não seja nova, sua aplicação em larga escala, com dados e infraestrutura de ponta, pode mostrar limites e possibilidades que projetos públicos vão tentar reproduzir.
Por fim, é importante lembrar que se trata de rumores não confirmados oficialmente. Fontes do mercado consideram as informações de Hotz críveis, e diversos especialistas reagiram positivamente à divulgação, mas a OpenAI ainda não fez um anúncio público detalhando a arquitetura ou a contagem de parâmetros do GPT-4. Até que haja confirmação, a leitura mais cautelosa é tratar os dados como indícios fortes, que ajudam a explicar avanços recentes, mas não substituem uma declaração técnica oficial.
Se confirmado, o uso de MoE e a escala mencionada transformariam a forma como entendemos os custos, a distribuição de trabalho em equipes de pesquisa, e as estratégias para replicar modelos de linguagem em projetos de código aberto.
Deixe um comentário