Novo salto na conexão entre linguagem e visão com SAM 3

A Meta apresentou a terceira geração do seu Segment Anything Model, o SAM 3, que promete redefinir a forma como algoritmos interpretam imagens e vídeos, ao desfocar a fronteira entre linguagem e visão. Ao invés de se limitar a categorias fixas, o SAM 3 trabalha com um vocabulário aberto e aceita instruções em texto, imagens exemplares ou sugestões visuais, para isolar conceitos específicos em conteúdos visuais.

A novidade pode acelerar tarefas que vão da edição de imagens à realidade aumentada, e já está disponível para testes públicos no Segment Anything Playground. A Meta também disponibilizou os pesos do modelo e o código, permitindo que desenvolvedores experimentem diretamente com o sistema.

Por que o SAM 3 recria a ponte entre linguagem e visão

Modelos tradicionais de visão computacional reconhecem objetos básicos como “pessoa”, mas têm dificuldade com descrições detalhadas, como “o guarda-chuva vermelho listrado”, porque dependem de categorias pré-definidas. O SAM 3 supera essa limitação através da abordagem que a Meta chama de “Segmentação de Conceitos com Prompts”. Com esse método, o modelo usa frases nominais curtas ou imagens de referência para localizar cada instância de um conceito em um conteúdo visual, além de continuar a dar suporte aos prompts visuais das gerações anteriores.

Em testes internos, o novo benchmark chamado “Segment Anything with Concepts” (SA-Co) mostrou ganhos consideráveis. Segundo a Meta, o SAM 3 “dobrou a performance dos sistemas existentes”. A empresa afirma ainda que o modelo supera ferramentas especializadas como o GLEE e o OWLv2, e ultrapassa grandes modelos multimodais, como o Gemini 2.5 Pro.

Treinamento híbrido e escala de dados

Um dos pontos centrais do avanço foi um “motor de dados” híbrido, em que modelos de IA geram máscaras de segmentação iniciais, e depois anotadores humanos e de IA verificam e corrigem essas sugestões. Segundo a Meta, “o processo acelera significativamente a anotação dos dados. A assistência por IA é aproximadamente cinco vezes mais rápida do que o esforço manual em prompts negativos (quando o objeto não está presente) e 36% mais eficiente nos positivos, resultando em um conjunto de dados de treinamento com mais de quatro milhões de conceitos únicos.”

Esse pipeline permitiu construir um dataset muito maior e mais diverso do que os conjuntos tradicionais, facilitando que o SAM 3 aprenda conceitos finos e variados, e permitindo respostas mais precisas a prompts textuais e visuais.

Aplicações práticas e desempenho em tempo real

A Meta já começou a integrar o SAM 3 em produtos reais. No Facebook Marketplace, o modelo alimenta o recurso “Visualizar no ambiente”, que permite aos usuários posicionar móveis virtualmente em suas casas. No editor do Instagram, o SAM 3 deve permitir efeitos aplicados a pessoas ou objetos específicos, o que pode transformar fluxos criativos de produtores de conteúdo.

Em termos de velocidade, a empresa informa que, rodando em uma GPU Nvidia H200, o SAM 3 “processa uma imagem com mais de 100 objetos reconhecidos em apenas 30 milissegundos”. Para vídeos, a latência aumenta com o número de objetos, mas “o processamento em quase tempo real é viável para cerca de cinco objetos simultâneos”. Esses números sugerem que o modelo é capaz de tarefas interativas quando a carga de objetos é moderada.

Limitações, SAM 3D e o futuro da reconstrução 3D

Apesar dos avanços, o SAM 3 tem limitações. A Meta admite dificuldades em termos técnicos altamente específicos fora do conjunto de treinamento, como imagens médicas em zero-shot, e fraqueza em descrições lógicas complexas, por exemplo “o penúltimo livro da direita na prateleira superior”. Para contornar isso, a empresa recomenda combinar o SAM 3 com modelos multimodais de linguagem, formando um chamado “Agente SAM 3”.

Junto com o SAM 3, a Meta lançou o SAM 3D, composto por dois modelos para gerar reconstruções tridimensionais a partir de imagens 2D. O SAM 3D Objects reconstrói objetos e cenários, usando o mesmo princípio do “motor de dados” para anotar quase um milhão de imagens com informações 3D. O SAM 3D Body foca em poses humanas, treinado com cerca de oito milhões de imagens, e introduz o formato “Meta Momentum Human Rig (MHR)”, que separa estrutura esquelética da forma da massa muscular.

Os modelos 3D ainda têm resolução limitada e não simulam bem interações físicas entre múltiplos objetos. O desempenho do SAM 3D Body também não alcança ferramentas especializadas em rastreamento manual. Ainda assim, a combinação de segmentação conceitual e reconstrução 3D aponta para ferramentas mais poderosas em criação de conteúdo, realidade aumentada e design.

Em síntese, o SAM 3 representa um passo relevante para aproximar linguagem e visão na prática, ao oferecer segmentação guiada por conceitos em texto e imagem, acelerar a criação de dados por meio de um motor híbrido, e abrir caminho para aplicações reais em produtos da Meta, mesmo que desafios técnicos e éticos ainda precisem ser enfrentados.