IA da Meta: V-JEPA 2 avança, mas raciocínio causal e planejamento de longo prazo são desafios

A Meta apresentou o V-JEPA 2, um modelo de inteligência artificial com 1,2 bilhão de parâmetros, que busca replicar a capacidade humana de entender o mundo físico de forma intuitiva. Desenvolvido para conectar essa compreensão ao controle robótico, o sistema alcança resultados de ponta em testes de reconhecimento de movimento e previsão de ações. No entanto, novas métricas criadas pela própria Meta evidenciam as dificuldades que a IA ainda enfrenta em áreas como planejamento a longo prazo e raciocínio causal.

V-JEPA 2: Um Salto na Compreensão Física para a IA

Assim como os humanos desenvolvem uma compreensão inata das leis físicas desde cedo, o V-JEPA 2, da Meta, visa incorporar essa “física intuitiva” na inteligência artificial. Este novo modelo é uma evolução da Arquitetura de Predição de Embeddings Conjuntos (JEPA), considerada pelo cientista-chefe da Meta, Yann LeCun, como um passo fundamental para o avanço da IA.

Ao contrário de outros “modelos do mundo”, como o Sora da OpenAI ou os grandes modelos de linguagem, o V-JEPA 2 adota uma abordagem distinta. Enquanto modelos generativos tentam prever cada detalhe, seja a nível de pixel ou de palavra, o JEPA foca no essencial, apenas nas partes previsíveis de uma cena. LeCun, inclusive, já expressou a visão de que modelos puramente generativos representam um “beco sem saída” para a inteligência artificial.

Aprendizado por Observação, Não por Geração de Pixels

O diferencial do V-JEPA 2 reside em sua arquitetura. Em vez de operar no nível de pixel, o modelo trabalha em um espaço de representação aprendido. Isso significa que ele não se preocupa em prever a posição exata de cada folha em uma árvore, mas sim em aprender conceitos abstratos como “a bola vai cair” ou “o objeto se move para a esquerda”.

Essa abstração torna o sistema mais eficiente e robusto. Enquanto modelos generativos gastariam capacidade computacional em detalhes visuais irrelevantes, o V-JEPA 2 concentra-se nas informações cruciais para o planejamento e o controle. Um exemplo prático dessa eficiência é o tempo de planejamento de ações robóticas: o V-JEPA 2 leva apenas 16 segundos, enquanto o modelo generativo Cosmos, da Nvidia, necessita de quatro minutos.

Treinamento Eficiente com Dados Robóticos Mínimos

O treinamento do V-JEPA 2 ocorre em duas fases. Na primeira, o modelo aprende de forma autônoma com mais de um milhão de horas de vídeo e um milhão de imagens, sem supervisão humana. Este vasto conjunto de dados inclui diversas perspectivas, como vídeos em primeira pessoa, cenas de ação em terceira pessoa e conteúdo do YouTube.

Tecnicamente, um codificador com um bilhão de parâmetros converte vídeos em representações abstratas. Uma característica única é o mascaramento de partes dos vídeos, onde um “previsor” deve inferir o que aconteceu nesses intervalos, não em pixels, mas em conceitos abstratos. Isso ensina o sistema a focar nos elementos mais importantes e previsíveis.

A segunda fase introduz o controle robótico, surpreendentemente exigindo apenas 62 horas de dados de robôs de um conjunto de dados público. Um previsor dedicado aprende como as ações robóticas modificam o ambiente com base nas representações adquiridas. Em contraste, outros sistemas de IA para robótica frequentemente demandam milhares de horas de treinamento específico e precisam ser requalificados para cada novo ambiente.

Resultados Expressivos e Novos Desafios Revelados

O V-JEPA 2 demonstra resultados notáveis em diversos benchmarks. No conjunto de dados Something-Something v2, que avalia o reconhecimento de movimentos complexos, o modelo atinge 77,3% de acurácia, superando outros modelos de vídeo de ponta.

A previsão de ações é ainda mais impressionante. No teste Epic-Kitchens-100, que monitora atividades cotidianas em cozinhas, o V-JEPA 2 prevê a próxima ação com 39,7% de acurácia um segundo antes que ela ocorra, um avanço de 44% em relação a sistemas anteriores. Quando integrado a um modelo de linguagem, o sistema também responde a perguntas complexas sobre vídeos com desempenho superior.

Da Compreensão de Vídeo ao Controle Robótico no Mundo Real

A Meta testou o V-JEPA 2 em robôs reais, utilizando apenas o conjunto de dados público DROID. Sem treinamentos adicionais, o modelo controlou com sucesso dois braços robóticos em ambientes de laboratório inéditos, com taxas de sucesso entre 65% e 80% em tarefas como agarrar um copo ou manipular objetos.

O funcionamento é intuitivo: o robô recebe uma imagem do estado final desejado, e o V-JEPA 2 planeja um caminho passo a passo, simulando movimentos possíveis com base em seu modelo interno de física. Após cada movimento, o robô verifica sua posição e replaneja os próximos passos.

Novos Benchmarks Explicitam a Lacuna da Física Intuitiva

Em paralelo ao V-JEPA 2, a Meta lançou três novos benchmarks para avaliar a compreensão da realidade física pelas IAs. O IntPhys 2, inspirado na psicologia do desenvolvimento, apresenta pares de vídeos onde um deles viola leis físicas. Enquanto humanos detectam essas impossibilidades instantaneamente, até mesmo modelos avançados de IA, incluindo o V-JEPA 2, têm desempenho pouco acima do acaso.

O MVPBench (Minimal Video Pairs) utiliza pares de vídeos quase idênticos que exigem respostas opostas para a mesma pergunta, impedindo que modelos se baseiem em pistas superficiais. Neste cenário, o V-JEPA 2 alcança 44,5% de acurácia, o melhor resultado entre os sistemas testados, mas ainda distante do desempenho humano.

O CausalVQA avalia o raciocínio causal. Os modelos devem responder a perguntas contrafactuais (“O que teria acontecido se…”), prever eventos futuros e sugerir ações. O padrão é claro: as IAs atuais são boas em descrever o que veem, mas lutam para imaginar desfechos alternativos ou prever o futuro com precisão.

Rumo a Modelos Hierárquicos e Múltiplas Escalas de Tempo

Apesar de suas conquistas, o V-JEPA 2 ainda enfrenta desafios significativos, especialmente no planejamento de longo prazo. O modelo consegue prever apenas os próximos segundos, não tarefas complexas de múltiplas etapas. Além disso, a sensibilidade à posição da câmera pode gerar problemas em aplicações no mundo real.

A visão futura da Meta envolve o desenvolvimento de modelos hierárquicos, capazes de planejar em diversas escalas de tempo, de frações de segundo a horas. A integração de outros sentidos, como som e tato, também faz parte dessa evolução. Enquanto a equipe de LeCun explora a abordagem JEPA, a Meta continua investindo em IA generativa como um caminho para a superinteligência, buscando um equilíbrio entre a compreensão física e a capacidade de criação.