Como o novo sistema cria conteúdos multimodais sincronizados

CoDi multimodal e a estratégia que permite entrada e saída em qualquer combinação

Pesquisadores da Microsoft apresentam o CoDi como uma proposta para superar as limitações dos modelos de IA tradicionais focados em uma única modalidade. CoDi multimodal é um modelo de difusão componível capaz de processar e gerar simultaneamente texto, imagens, vídeo e áudio, com flexibilidade para combinar entradas e saídas que não aparecem juntas nos dados de treinamento.

Segundo os autores, O CoDi (Composable Diffusion) é apresentado pelo projeto i-Code da Microsoft, que tem como objetivo desenvolver uma IA multimodal integrativa e componível. A frase, retirada diretamente da apresentação do projeto, resume a ambição técnica do trabalho: criar uma arquitetura integradora, em vez de juntar modelos isolados para cada tipo de mídia.

Arquitetura e método: alinhamento e espaço semântico comum

O ponto central do CoDi multimodal é uma estratégia de alinhamento que projeta modalidades — imagens, áudio, vídeo e linguagem — em um espaço semântico comum. Com isso, o sistema pode condicionar qualquer combinação de entradas e gerar qualquer conjunto de modalidades de saída, mesmo aquelas ausentes do conjunto de treinamento.

Para lidar com a escassez de dados multimodais completos, os pesquisadores aplicaram uma abordagem que corresponde modalidades tanto no espaço de entrada quanto no espaço de saída. Essa ponte de alinhamento é construída durante o processo de difusão e facilita a geração sincronizada de sinais temporais, como vídeo e áudio, mantendo coerência entre as modalidades.

Treinamento, atenção cruzada e codificador de ambiente

O treinamento do CoDi envolve projetar entradas diversas em um espaço comum e usar módulos específicos para manter a coesão entre modalidades. Entre esses componentes, destacam-se um módulo de atenção cruzada, que permite que informações de uma modalidade influenciem outra, e um codificador de ambiente, que agrega contexto multimodal.

Essa combinação torna possível, por exemplo, que descrições em texto moldem a aparência de imagens geradas, enquanto sinais de áudio orientam a geração de movimentos em vídeo. O sistema adota uma geração componível, para que cada etapa da difusão possa ser combinada conforme a necessidade do prompt ou do conjunto de entradas.

Exemplos práticos e aplicações potenciais

Os pesquisadores oferecem exemplos que demonstram a capacidade do CoDi de juntar texto, imagem e som em saídas coerentes. Em um experimento, as entradas incluíam o prompt de texto urso de pelúcia em um skate, 4k, alta resolução, uma imagem da Times Square e o som da chuva. A partir desses elementos, o sistema gerou um vídeo curto, ainda de baixa qualidade, de um urso de pelúcia andando de skate na chuva na Times Square, acompanhado pelos sons sincronizados da chuva e dos ruídos da rua.

Além de casos criativos, os autores apontam aplicações mais amplas. Educação e acessibilidade são dois exemplos citados, com potencial para criar experiências multimodais personalizadas e interfaces mais ricas para pessoas com deficiência. Os pesquisadores ressaltam ainda que o trabalho estabelece uma base para investigações futuras: Nosso trabalho marca um passo significativo em direção a interações humano-computador mais envolventes e holísticas, estabelecendo uma base sólida para investigações futuras em inteligência artificial generativa.

Ao possibilitar que diferentes modalidades sejam combinadas de forma direta e controlável, o CoDi multimodal pode reduzir o tempo e a complexidade de pipelines que hoje exigem integração manual entre modelos de texto, imagem, áudio e vídeo.

Há desafios remanescentes, como a qualidade final de vídeos gerados, a necessidade de maiores e melhores conjuntos de dados multimodais, e considerações éticas sobre uso indevido de conteúdos gerados. Ainda assim, o CoDi representa uma direção promissora para sistemas generativos que façam sentido de múltiplas modalidades ao mesmo tempo.

Em resumo, o trabalho do projeto i-Code mostra que é possível projetar uma arquitetura de difusão componível que trate texto, imagem, vídeo e áudio como partes integradas de um mesmo processo gerativo. Com isso, o CoDi multimodal se coloca como um avanço importante rumo a experiências digitais mais imersivas e multifacetadas.