Alibaba VACE AI: A Nova Era da Criação e Edição de Vídeos com Inteligência Artificial

Descubra como o modelo VACE AI da Alibaba está transformando o futuro da produção audiovisual, unificando geração e edição em uma única plataforma inteligente.

A inteligência artificial continua a expandir seus horizontes, e desta vez, o Alibaba Group surge com uma proposta ambiciosa: o VACE AI. Este modelo de inteligência artificial de uso geral foi desenvolvido para executar uma vasta gama de tarefas de geração e edição de vídeo dentro de um único e poderoso sistema. A iniciativa promete revolucionar a forma como criadores, profissionais e entusiastas interagem com a produção de conteúdo audiovisual, oferecendo uma solução unificada e multifuncional.

A Arquitetura Inovadora do VACE AI

No cerne do VACE AI reside uma arquitetura de transformador de difusão aprimorada. No entanto, o grande diferencial apresentado pela equipe do Alibaba é o novo formato de entrada, batizado de “Unidade de Condição de Vídeo” (VCU). Essa inovação é a resposta do Alibaba para a complexidade de lidar com múltiplas fontes de informação simultaneamente. A VCU é capaz de processar desde simples prompts em texto até sequências de imagens ou vídeos de referência, além de máscaras espaciais. Tudo isso é convertido em uma representação unificada, permitindo que o modelo integre essas diferentes modalidades de forma colaborativa, evitando conflitos e garantindo uma compreensão holística do conteúdo.

Um dos recursos mais notáveis do VACE AI é a técnica de “desacoplamento de conceitos”. Essa abordagem divide cada imagem em regiões editáveis e fixas, concedendo ao modelo um controle granular sobre quais partes do vídeo serão modificadas e quais permanecerão inalteradas. O processo começa com a aplicação de máscaras que segmentam a imagem em áreas “reativas”, que são os alvos para modificação, e zonas “inativas”, que são preservadas. Toda a informação visual é então incorporada em um espaço de características compartilhado e combinada com a entrada de texto correspondente, permitindo edições precisas e direcionadas.

Consistência e Coesão em Cada Quadro

Manter a consistência de quadro a quadro é um desafio crucial na geração de vídeos. O VACE AI aborda essa questão mapeando as características extraídas em um espaço latente estruturado, seguindo a lógica do transformador de difusão. Camadas de incorporação temporal asseguram que a compreensão da sequência pelo modelo permaneça coesa à medida que ele processa os diferentes quadros do vídeo. Adicionalmente, um mecanismo de atenção interliga informações provenientes de diversas modalidades e intervalos temporais, permitindo que o sistema trate todo o conteúdo de forma integrada, seja na criação de material totalmente novo ou na edição de clipes existentes.

Essa integração multimodal é o que confere ao VACE AI sua versatilidade. A capacidade de entender e processar texto, imagens estáticas, vídeos de referência e máscaras de forma conjunta abre um leque de possibilidades para a criação e manipulação de conteúdo audiovisual. O resultado é uma ferramenta que não apenas gera vídeos, mas também os edita com uma precisão e flexibilidade sem precedentes.

Um Conjunto de Ferramentas Abrangente para Criação de Vídeo

O VACE AI se destaca por oferecer um conjunto de ferramentas que abrange quatro tarefas principais, consolidando diversas funcionalidades em uma única plataforma. Primeiramente, o modelo é capaz de gerar vídeos a partir de prompts de texto, transformando descrições escritas em sequências visuais dinâmicas. Em segundo lugar, ele pode sintetizar novas cenas com base em imagens ou clipes de referência, permitindo a criação de conteúdo que se alinha a um estilo visual específico ou a um contexto pré-existente. Em terceiro lugar, o VACE AI realiza edições de vídeo para vídeo, permitindo modificações complexas em clipes já existentes. Por fim, a ferramenta aplica máscaras para edições direcionadas, oferecendo controle preciso sobre as áreas a serem alteradas. Essa abordagem “um modelo para a maioria” amplia significativamente as possibilidades de aplicação, tornando-o uma ferramenta poderosa para uma vasta gama de usuários.

As demonstrações práticas do VACE AI revelam um potencial impressionante. O modelo pode, por exemplo, animar uma pessoa saindo de cena, criar um personagem de anime surfando em ondas virtuais, substituir pinguins por gatinhos em um clipe existente, ou expandir um fundo para manter a coerência visual de uma cena. Para aqueles que desejam explorar mais a fundo as capacidades da ferramenta, o site oficial do projeto oferece exemplos adicionais que ilustram a amplitude de suas funcionalidades, desde animações e reorganização de objetos até a expansão de cenários.

Treinamento e Coleta de Dados para Performance Superior

O desenvolvimento do VACE AI envolveu um processo de treinamento rigoroso, começando pelos fundamentos. Inicialmente, a equipe concentrou-se em técnicas de inpainting e outpainting para aprimorar o pipeline de geração de vídeo a partir de texto. Posteriormente, foram incorporadas imagens de referência e, em seguida, o modelo avançou para tarefas de edição mais complexas. A coleta de dados para o treinamento utilizou vídeos disponíveis na internet, que foram automaticamente filtrados, segmentados e enriquecidos com anotações de profundidade e pose, garantindo um conjunto de dados robusto e diversificado.

Avaliação e Desempenho em Tarefas de Edição de Vídeo

Para mensurar o desempenho do VACE AI, os pesquisadores desenvolveram uma bateria de testes composta por 480 exemplos, cobrindo uma dúzia de tarefas de edição de vídeo. Essas tarefas incluíam inpainting, outpainting, estilização, controle de profundidade e geração guiada por referência. Os resultados apresentados indicam que o VACE AI supera os modelos open-source especializados em todas as métricas quantitativas e estudos com usuários. Contudo, os pesquisadores apontam que ainda existe uma lacuna na geração de vídeo a partir de referências, onde modelos comerciais como Vidu e Kling exibem desempenho superior.

Apesar dessa observação, os pesquisadores do Alibaba consideram o VACE AI um passo importante rumo a modelos de vídeo universais e multimodais. O próximo desafio para a equipe é ampliar o modelo com conjuntos de dados maiores e mais poder computacional. Há planos para que partes do VACE AI sejam disponibilizadas como open-source no GitHub, o que certamente impulsionará a comunidade de desenvolvimento em IA para vídeo.

O VACE AI no Cenário Competitivo da IA para Vídeo

O lançamento do VACE AI se insere no contexto mais amplo das ambições do Alibaba no campo da inteligência artificial, acompanhando uma série de lançamentos recentes de grandes modelos de linguagem, como a série Qwen. O mercado de IA para vídeo está cada vez mais competitivo, com outros gigantes tecnológicos chineses, como a ByteDance, também investindo pesadamente na área. Essas empresas chinesas têm demonstrado capacidade de igualar ou até superar ofertas ocidentais de ponta, como a Sora, da OpenAI, e o Veo 2, do Google, evidenciando a rápida evolução e a intensa disputa por inovação neste setor promissor.

O VACE AI da Alibaba representa um avanço significativo, prometendo democratizar a criação e edição de vídeos com inteligência artificial. Sua arquitetura unificada e suas capacidades multifuncionais o posicionam como uma ferramenta promissora para o futuro da produção audiovisual digital.