Microsoft Fara-7B: IA local para controle de PCs com visão computacional

Novo modelo da Microsoft promete eficiência e privacidade ao rodar diretamente em dispositivos de consumo.

A Microsoft apresentou o Fara-7B, um novo e promissor sistema de Inteligência Artificial projetado para operar interfaces de usuário de forma inovadora, utilizando exclusivamente informações visuais. O diferencial deste modelo compacto reside em sua capacidade de rodar diretamente em dispositivos de consumo, como computadores pessoais. Essa abordagem local minimiza a latência, tornando as interações mais rápidas, e, crucialmente, aumenta a privacidade dos dados, que permanecem no dispositivo sem a necessidade de envio para servidores externos.

Fara-7B: Uma Nova Abordagem Baseada em Visão

Baseado no modelo Qwen2.5-VL-7B da Alibaba, o Fara-7B se destaca por depender inteiramente de dados visuais. Em vez de analisar complexas árvores de acessibilidade ou decifrar o código HTML de páginas web, o modelo opera diretamente a partir de capturas de tela da interface. Seu funcionamento se dá em um ciclo contínuo de observação, reflexão e ação. Para isso, ele prevê as coordenadas de cliques ou gera comandos de teclado conforme a necessidade. A tomada de decisão do sistema é informada pelas três últimas capturas de tela, pelas ações executadas anteriormente e pela entrada direta do usuário.

Um dos maiores obstáculos no desenvolvimento de agentes de uso computacional como o Fara-7B é a escassez de dados de treinamento utilizáveis. A coleta manual de trajetórias de cliques e interações é um processo extremamente demorado. Para superar essa dificuldade, a Microsoft implementou um inteligente pipeline de dados sintéticos.

A geração desses dados sintéticos envolve permitir que um sistema multiagente resolva tarefas e, posteriormente, verificar a correção dos resultados. Utilizando o framework interno da Microsoft, o Magentic-One, a empresa automatizou a criação de soluções para diversas tarefas. Um agente orquestrador é responsável por elaborar planos passo a passo, enquanto um agente denominado “WebSurfer” os executa. Essa metodologia permitiu a coleta de aproximadamente 145.000 trajetórias, totalizando um milhão de etapas de aprendizado. Todo esse conhecimento foi condensado no eficiente modelo Fara-7B. Além disso, a Microsoft lançou um novo benchmark, o WebTailBench, com o objetivo de abranger tipos de tarefas que eram sub-representadas em testes anteriores, incluindo comparações de preços e pesquisas de emprego.

Eficiência que Desafia Modelos Maiores

Nos benchmarks realizados, o Fara-7B demonstrou um desempenho notável, especialmente considerando seu tamanho compacto. Em testes específicos, como o WebVoyager, o modelo alcançou uma taxa de sucesso impressionante de 73,5%. Esse resultado o posicionou à frente de modelos como o UI-TARS-1.5-7B e até mesmo do renomado GPT-4o da OpenAI em cenários comparáveis. Avaliações conduzidas por revisores humanos independentes também confirmaram a eficácia do Fara-7B, com uma taxa de sucesso geral de 62%.

A Microsoft também enfatiza a eficiência operacional do Fara-7B. Em média, o modelo completa tarefas em cerca de 16 etapas. Em contraste, modelos concorrentes como o UI-TARS demandam aproximadamente 41 etapas para concluir tarefas similares. Essa diferença impacta diretamente os custos operacionais e a velocidade de execução.

É importante notar que a Microsoft adverte que, como qualquer modelo de IA, o Fara-7B ainda pode cometer erros. Ele pode interpretar instruções de forma equivocada ou apresentar o que é conhecido como “alucinações”, gerando informações incorretas. Para mitigar esses riscos, o sistema foi programado para interromper sua execução em pontos críticos. Exemplos incluem momentos antes do envio de um e-mail ou da iniciação de uma transação financeira, permitindo que o usuário revise e confirme a ação antes de prosseguir.

Disponibilidade e o Futuro dos Agentes de IA

O Fara-7B está disponível como uma versão experimental com pesos abertos, sob a licença MIT, facilitando sua adoção e desenvolvimento pela comunidade. Ele pode ser acessado através de plataformas como o Hugging Face e o Microsoft Foundry. Além disso, o modelo pode ser testado localmente em PCs com Windows 11 equipados com o Copilot+. Este avanço se insere em um contexto de crescente investimento de grandes empresas, como OpenAI, Anthropic e Google, no desenvolvimento de agentes de interface movidos por IA.

Muitos desses agentes, no entanto, ainda enfrentam desafios, como a lentidão na execução de tarefas ou falhas completas, sem apresentar ganhos efetivos de eficiência. A vulnerabilidade a problemas como a injeção de comandos também é uma preocupação constante. A Microsoft sugere que um caminho promissor para o futuro é ir além das interfaces puramente visuais, oferecendo aos agentes superfícies de interação especificamente projetadas para eles.

Pesquisadores já estão explorando conceitos padronizados de interação para agentes de IA, o que tem o potencial de aumentar significativamente a eficiência e a segurança dos sistemas de uso computacional movidos por inteligência artificial. O Fara-7B representa um passo importante nessa direção, demonstrando o potencial da IA local e focada em visão para revolucionar a forma como interagimos com nossos computadores.