IA em código: metade do gerado passa em testes, mas falha com humanos

Uma pesquisa recente da organização METR aponta uma discrepância alarmante na avaliação de código gerado por Inteligência Artificial. O benchmark SWE-bench Verified, amplamente utilizado para aferir a performance de agentes de IA em codificação, superestima a qualidade real do trabalho. Cerca de 50% dos códigos que obtiveram aprovação automática seriam, na prática, rejeitados por desenvolvedores humanos experientes.

A avaliação humana, realizada em 296 contribuições de IA em projetos open-source, incluindo modelos como Claude 3.5, Claude 4.5 e GPT-5, mostrou um índice de aceitação humana, em média, 24 pontos percentuais inferior ao do teste automatizado. As rejeições ocorreram por motivos como qualidade ruim do código, potenciais danos a bases existentes e erros funcionais básicos, mesmo quando os testes automatizados passavam.

O estudo detalha que o erro funcional básico — onde o código não solucionava o problema, mas passava nos testes — foi uma ocorrência frequente. Para alcançar uma taxa de sucesso de 50%, os modelos de IA poderiam necessitar de até sete vezes mais tempo do que o indicado pelo benchmark. Isso evidencia as limitações das métricas automatizadas e a indispensabilidade do feedback humano para validar a real utilidade e confiabilidade do código gerado por IA.

Essa descoberta é crucial para o avanço da IA no desenvolvimento de software. A integração dessa tecnologia exige um ajuste contínuo e maturidade, assim como ocorreu no passado com compiladores e IDEs, necessitando da interação humana para evoluir e se consolidar. Avaliações realistas evitam falsas expectativas e promovem sistemas que efetivamente auxiliam os desenvolvedores, fortalecendo a confiança na IA.

Batalha judicial: Microsoft e rivais apoiam Anthropic contra o Pentágono

Em um movimento incomum, Microsoft, Google e ex-militares dos Estados Unidos formaram uma coalizão para apoiar a Anthropic em sua disputa judicial contra o Departamento de Defesa (Pentágono). A controvérsia gira em torno da classificação dos sistemas de IA da Anthropic como um risco de segurança. A Microsoft argumenta que essa decisão prejudica contratos militares e que tal classificação nunca foi aplicada anteriormente a empresas americanas.

A coalizão destaca que a ação do Pentágono ameaça o respeito às leis militares e civis. Grupos de direitos civis apontam que a medida fere a liberdade de expressão, pois o governo estaria tentando forçar a Anthropic a alterar os princípios éticos de seu modelo Claude. Funcionários de OpenAI e Google também alertaram para os riscos técnicos já reconhecidos na IA atual, como opacidade e alucinações.

Ex-militares envolvidos na coalizão afirmam que a decisão do Pentágono mina o estado de direito e estabelece um precedente perigoso. Por outro lado, grupos civis sustentam que a exigência configura censura e discurso forçado. Este caso exemplifica o delicado equilíbrio entre segurança nacional, inovação tecnológica e direitos civis no avanço da IA.

A situação ressalta a necessidade de legislações e regulações que acompanhem o ritmo das tecnologias emergentes, garantindo que o potencial transformador da IA seja aproveitado com responsabilidade e ética. A união do setor privado, militar e sociedade civil em defesa da governança da IA é um marco importante.

Amazon revoluciona compras online com expansão do Shop Direct e IA

A Amazon ampliou seu programa Shop Direct, permitindo que clientes americanos adquiram produtos não disponíveis diretamente em seu catálogo. Através de resultados de busca e do assistente de compras AI, Rufus, os consumidores podem agora enviar produtos de sites de varejistas parceiros para serem despachados. O suporte a feeds de terceiros em tempo real foi expandido para mais parceiros, facilitando a exposição de marcas.

A funcionalidade Buy for Me utiliza um bot de IA para automatizar a conclusão de compras externas, mantendo um rastreamento unificado. Clientes são informados quando deixam o ambiente Amazon, garantindo transparência no processo. A iniciativa reforça a posição da Amazon como ponto de partida para buscas e compras online.

Essa evolução na experiência de compra online integra IA e diversos ecossistemas para maior conveniência do usuário. A Amazon utiliza dados comportamentais para refinar suas estratégias e parcerias, um movimento natural em ambientes digitais competitivos onde a inteligência artificial é fundamental para personalização e eficiência.

Claude ganha context sharing e workflows reutilizáveis em Excel e PowerPoint

A Anthropic atualizou os add-ins do Claude para Excel e PowerPoint, introduzindo recursos que permitem o compartilhamento de contexto entre os aplicativos em uma mesma sessão. Isso possibilita a leitura de valores, criação de fórmulas e edição de slides sem a necessidade de repetir informações, agilizando processos inter-aplicativos.

Foram lançadas também as Skills, fluxos de trabalho compartilháveis que facilitam a execução de tarefas comuns, como análises financeiras e revisões de apresentações. Os novos recursos oferecem suporte ampliado aos clouds Amazon Bedrock, Google Cloud Vertex AI e Microsoft Foundry, e estão disponíveis para usuários Pro em Windows e Mac, incrementando a produtividade colaborativa.

Essa integração inteligente e o compartilhamento de estado entre aplicativos representam a maturação da IA rumo a assistentes virtuais corporativos capazes de antecipar necessidades em múltiplos contextos. A evolução facilita fluxos de trabalho antes manuais e fragmentados, melhorando a experiência do usuário e liberando profissionais para tarefas mais criativas.

Google lança Gemini Embedding 2: IA multimodal unificada

O Google apresentou o Gemini Embedding 2, um modelo que estende a arquitetura Gemini para unificar texto, imagens, vídeos, áudio e documentos PDF em um único espaço vetorial semântico. Essa integração simplifica pipelines de IA complexos e permite processamento nativo de áudio, eliminando a necessidade de transcrição intermediária.

O modelo suporta até 8.192 tokens de texto e seis imagens por solicitação, além de vídeos de até 2 minutos. A funcionalidade interleaved input permite a combinação de múltiplas modalidades em uma única requisição, e a tecnologia Matryoshka Representation Learning possibilita escalabilidade nos vetores, balanceando qualidade e armazenamento.

Benchmarks indicam liderança de desempenho frente a concorrentes como os da Amazon. O Gemini Embedding 2 está disponível via Gemini API e Vertex AI, integrado a frameworks populares como LangChain e LlamaIndex, com demos e notebooks interativos para facilitar a adoção por desenvolvedores. Essa unificação multimodal em um espaço vetorial único representa um marco na simplificação e eficiência do desenvolvimento de aplicações inteligentes, impulsionando análises e buscas cross-media com maior coesão e rapidez.