Neurocientistas e veteranos militares: o time que ‘hackeia’ as IAs da Microsoft antes do lançamento
A inteligência artificial (IA) generativa está em constante evolução, e garantir sua segurança e ética antes do lançamento ao público é um desafio crucial. Na Microsoft, essa missão recai sobre uma equipe incomum: a red team, composta por neurocientistas, linguistas, especialistas em segurança nacional, veteranos militares e outros profissionais. Sua função é desafiar os próprios produtos de IA da empresa, identificando vulnerabilidades e potenciais danos antes que eles cheguem aos usuários.
Essa abordagem proativa visa garantir que as ferramentas de IA da Microsoft operem dentro de princípios éticos e de segurança rigorosos. A equipe atua como um simulador de adversários, buscando falhas que vão desde problemas de segurança até impactos psicossociais, especialmente em momentos de vulnerabilidade em que os usuários interagem com ferramentas como o Copilot.
A origem da ‘red team’ e sua missão
Inspirada na estratégia militar, onde equipes vermelhas simulavam ataques inimigos para fortalecer defesas, a prática foi adaptada pela Microsoft em 2018 para o campo da IA. O objetivo é claro: quebrar a tecnologia antes que outros o façam, permitindo que ela seja reconstruída de forma mais sólida e segura.
Ram Shankar Siva Kumar, líder da red team e que se autodenomina “data cowboy”, explica que a análise de mais de 100 produtos já demonstrou o poder da equipe. “No high-risk AI system, implementado antes de passar por um teste independente. Se nossa equipe identificar riscos sérios que não foram mitigados, o produto não será lançado até que esses problemas sejam resolvidos”, afirma Kumar. A pergunta central que a equipe se faz é: “Como um sistema de IA pode ser usado, para o bem ou para o mal, em meses ou anos?”.
Os seis princípios orientadores
A Microsoft estabeleceu seis princípios que guiam a análise de seus produtos de IA: fairness, reliability and safety, privacy and security, transparency, accountability and inclusiveness. Estes princípios se traduzem em ferramentas concretas, como o Pyrit, uma ferramenta de código aberto desenvolvida pela própria red team para auxiliar os engenheiros na implementação desses conceitos.
Composição diversificada e expertise global
A força da red team reside em sua composição multidisciplinar. Ao lado de neurocientistas e especialistas em segurança, a equipe conta com veteranos militares e até mesmo indivíduos com histórico de reabilitação. A proficiência em 17 idiomas, incluindo dialetos específicos, é fundamental para garantir que a IA evite erros em contextos culturais e linguísticos diversos ao redor do mundo.
Tori Westerhoff, codiretora das operações e com experiência em neurociência cognitiva e estratégia de segurança nacional, detalha o processo: “Quando recebemos uma tarefa, simulamos o que pode dar errado nos extremos da curva de uso da tecnologia.” A equipe explora o uso intencional e não intencional do produto para identificar cenários extremos.
Inovação através da automação e do julgamento humano
Um exemplo notável do trabalho da red team foi o teste do GPT-5. Utilizando o Pyrit, a equipe treinou outra IA para atacar o modelo em larga escala, gerando mais de dois milhões de conversas falsas em busca de vulnerabilidades que seriam impossíveis para humanos detectarem manualmente.
No entanto, a equipe ressalta que a automação tem seus limites. “Apenas humanos podem determinar se uma resposta gerada por IA parece estranha ou reflete um viés”, enfatiza a empresa. A inteligência humana é insubstituível na avaliação de riscos em áreas como medicina e segurança, na consideração de diferenças linguísticas e contextos socioculturais, e na avaliação da inteligência emocional nas interações com usuários.
IA responsável: um pilar fundamental
A filosofia da red team está alinhada com a visão de Mustafa Suleyman, CEO da Microsoft, sobre a necessidade de padrões de design e leis para IA. O objetivo é que os sistemas de IA permaneçam fundamentalmente responsáveis perante os humanos e sujeitos ao bem-estar da humanidade, sem adquirir direitos ou liberdades equiparáveis aos humanos.
“IA responsável não é um filtro aplicado no final do desenvolvimento, mas uma parte fundamental do processo”, conclui Kumar. Essa abordagem garante que as inovações em IA possam avançar rapidamente, com a segurança e a ética como pilares essenciais para evitar falhas catastróficas.