Blog de IA

Tag: Segurança de IA

  • SentinelOne e Snyk lançam novas ferramentas para proteger agentes de IA

    SentinelOne e Snyk lançam novas ferramentas para proteger agentes de IA

    SentinelOne, Snyk introduzem novas ferramentas para proteger agentes de IA

    As empresas SentinelOne e Snyk anunciaram o lançamento de novas ferramentas focadas na proteção de agentes de inteligência artificial (IA). Em um cenário onde a IA se torna cada vez mais integrada às operações corporativas, a segurança dessas aplicações é fundamental para evitar riscos.

    As novas soluções visam identificar servidores críticos, aplicar medidas de segurança e mitigar ameaças, como o envio indevido de dados empresariais ou o acesso não autorizado a sistemas internos. A iniciativa responde à crescente necessidade de proteger os ativos digitais das organizações em um ecossistema de IA em expansão.

    Prompt AI Agent Security: Guardrails para agentes de IA

    A SentinelOne lançou o Prompt AI Agent Security, uma ferramenta projetada para identificar automaticamente os servidores MCP (Machine Control Plane) utilizados pelos agentes de IA de uma empresa. Uma vez identificados, a ferramenta aplica medidas de segurança cibernética (guardrails) a esses servidores.

    O objetivo é prevenir o uso inseguro dos agentes de IA. Isso inclui impedir que eles enviem dados corporativos para aplicações de terceiros e mitigar riscos como o acesso a sistemas internos sem autorização. A solução busca garantir que os agentes de IA operem dentro de limites seguros e controlados.

    Prompt AI Red Teaming: Simulando ataques para encontrar falhas

    Complementando o Prompt AI Agent Security, a SentinelOne introduziu o Prompt AI Red Teaming. Esta ferramenta simula ataques cibernéticos para descobrir vulnerabilidades em aplicações de IA. O software é capaz de simular comandos maliciosos (prompts), tentativas de comprometer os dados de treinamento de um modelo e outras ameaças.

    A abordagem de Red Teaming permite que as empresas testem proativamente a segurança de suas soluções de IA, identificando pontos fracos antes que possam ser explorados por agentes mal-intencionados. Essa antecipação é crucial para manter a integridade e a segurança dos sistemas de IA.

    Singularity AI SIEM: Pipeline de dados para análise aprimorada

    A plataforma Singularity da SentinelOne, que já analisa a telemetria da infraestrutura das organizações para encontrar riscos de segurança, ganhará um novo módulo: o Singularity AI SIEM. Este módulo utilizará um pipeline de dados “AI-native” para ingerir a telemetria.

    O pipeline organiza e enriquece os dados com informações externas, normaliza-os e filtra detalhes desnecessários. Segundo a SentinelOne, essa funcionalidade pode reduzir o ruído dos dados em até 80%, diminuindo os custos de infraestrutura para processamento.

    Prompt Security On-Premises: Segurança para ambientes isolados

    Em resposta aos desafios de implementar software de segurança em ambientes air-gapped (redes corporativas isoladas da internet), a SentinelOne apresentou uma nova ferramenta de segurança para cargas de trabalho de IA. O Prompt Security On-Premises armazena a telemetria coletada na própria infraestrutura do cliente, em vez de enviá-la para a nuvem.

    Utilizando o novo pipeline de dados de IA da SentinelOne, a ferramenta filtra a telemetria desnecessária antes da análise. Ana Pinczuk, presidente de produto e tecnologia da SentinelOne, destacou que a solução oferece um equilíbrio entre a velocidade da segurança de IA e a soberania total dos dados, privacidade e controle, especialmente para redes air-gapped.

    Snyk Evo AI-SPM: Inventário e escaneamento de ativos de IA

    A Snyk também apresentou suas novas soluções, com destaque para a tecnologia Snyk Evo AI-SPM. Esta ferramenta cria automaticamente um inventário de modelos de linguagem, servidores MCP e outros ativos de IA presentes nos repositórios de código de uma empresa.

    Após a criação do inventário, o Snyk Evo AI-SPM escaneia esses ativos em busca de riscos de segurança. A tecnologia suporta três agentes de IA atualmente em pré-visualização. Um deles garante a segurança dos componentes de IA de terceiros utilizados pelos desenvolvedores, enquanto os outros auxiliam no teste de vulnerabilidades e no bloqueio de riscos de IA, como respostas que contêm trechos de conjuntos de dados de treinamento.

    A importância da confirmação e correção de vulnerabilidades

    Manoj Nair, Chief Innovation Officer da Snyk, ressaltou que as arquiteturas agentic transformam a governança em um problema de cadeia de suprimentos de software. Ele enfatizou o valor da Snyk em confirmar quais descobertas são reais e exploráveis, utilizando dados de referência de uma década de implantação empresarial.

    “Claude encontra. Snyk confirma. O agente corrige apenas o que é real”, declarou Nair, destacando a metodologia colaborativa para garantir que as correções sejam aplicadas de forma precisa e eficaz, evitando falsos positivos e focando nas vulnerabilidades concretas.

  • Neurocientistas e veteranos militares: o time que ‘hackeia’ as IAs da Microsoft antes do lançamento

    Neurocientistas e veteranos militares: o time que ‘hackeia’ as IAs da Microsoft antes do lançamento

    Neurocientistas e veteranos militares: o time que ‘hackeia’ as IAs da Microsoft antes do lançamento

    A inteligência artificial (IA) generativa está em constante evolução, e garantir sua segurança e ética antes do lançamento ao público é um desafio crucial. Na Microsoft, essa missão recai sobre uma equipe incomum: a red team, composta por neurocientistas, linguistas, especialistas em segurança nacional, veteranos militares e outros profissionais. Sua função é desafiar os próprios produtos de IA da empresa, identificando vulnerabilidades e potenciais danos antes que eles cheguem aos usuários.

    Essa abordagem proativa visa garantir que as ferramentas de IA da Microsoft operem dentro de princípios éticos e de segurança rigorosos. A equipe atua como um simulador de adversários, buscando falhas que vão desde problemas de segurança até impactos psicossociais, especialmente em momentos de vulnerabilidade em que os usuários interagem com ferramentas como o Copilot.

    A origem da ‘red team’ e sua missão

    Inspirada na estratégia militar, onde equipes vermelhas simulavam ataques inimigos para fortalecer defesas, a prática foi adaptada pela Microsoft em 2018 para o campo da IA. O objetivo é claro: quebrar a tecnologia antes que outros o façam, permitindo que ela seja reconstruída de forma mais sólida e segura.

    Ram Shankar Siva Kumar, líder da red team e que se autodenomina “data cowboy”, explica que a análise de mais de 100 produtos já demonstrou o poder da equipe. “No high-risk AI system, implementado antes de passar por um teste independente. Se nossa equipe identificar riscos sérios que não foram mitigados, o produto não será lançado até que esses problemas sejam resolvidos”, afirma Kumar. A pergunta central que a equipe se faz é: “Como um sistema de IA pode ser usado, para o bem ou para o mal, em meses ou anos?”.

    Os seis princípios orientadores

    A Microsoft estabeleceu seis princípios que guiam a análise de seus produtos de IA: fairness, reliability and safety, privacy and security, transparency, accountability and inclusiveness. Estes princípios se traduzem em ferramentas concretas, como o Pyrit, uma ferramenta de código aberto desenvolvida pela própria red team para auxiliar os engenheiros na implementação desses conceitos.

    Composição diversificada e expertise global

    A força da red team reside em sua composição multidisciplinar. Ao lado de neurocientistas e especialistas em segurança, a equipe conta com veteranos militares e até mesmo indivíduos com histórico de reabilitação. A proficiência em 17 idiomas, incluindo dialetos específicos, é fundamental para garantir que a IA evite erros em contextos culturais e linguísticos diversos ao redor do mundo.

    Tori Westerhoff, codiretora das operações e com experiência em neurociência cognitiva e estratégia de segurança nacional, detalha o processo: “Quando recebemos uma tarefa, simulamos o que pode dar errado nos extremos da curva de uso da tecnologia.” A equipe explora o uso intencional e não intencional do produto para identificar cenários extremos.

    Inovação através da automação e do julgamento humano

    Um exemplo notável do trabalho da red team foi o teste do GPT-5. Utilizando o Pyrit, a equipe treinou outra IA para atacar o modelo em larga escala, gerando mais de dois milhões de conversas falsas em busca de vulnerabilidades que seriam impossíveis para humanos detectarem manualmente.

    No entanto, a equipe ressalta que a automação tem seus limites. “Apenas humanos podem determinar se uma resposta gerada por IA parece estranha ou reflete um viés”, enfatiza a empresa. A inteligência humana é insubstituível na avaliação de riscos em áreas como medicina e segurança, na consideração de diferenças linguísticas e contextos socioculturais, e na avaliação da inteligência emocional nas interações com usuários.

    IA responsável: um pilar fundamental

    A filosofia da red team está alinhada com a visão de Mustafa Suleyman, CEO da Microsoft, sobre a necessidade de padrões de design e leis para IA. O objetivo é que os sistemas de IA permaneçam fundamentalmente responsáveis perante os humanos e sujeitos ao bem-estar da humanidade, sem adquirir direitos ou liberdades equiparáveis aos humanos.

    “IA responsável não é um filtro aplicado no final do desenvolvimento, mas uma parte fundamental do processo”, conclui Kumar. Essa abordagem garante que as inovações em IA possam avançar rapidamente, com a segurança e a ética como pilares essenciais para evitar falhas catastróficas.

  • Instituto de Segurança de IA dos EUA pode sofrer grandes cortes – TechCrunch

    Instituto de Segurança de IA dos EUA pode sofrer grandes cortes – TechCrunch

    Instituto de Segurança de IA dos EUA pode sofrer grandes cortes

    O Instituto de Segurança de IA dos EUA (AISI) está à beira de sofrer reduções significativas em seu quadro de pessoal. O Instituto Nacional de Padrões e Tecnologia (NIST) está considerando a demissão de até 500 funcionários, impactando tanto o AISI quanto o programa Chips for America.

    Segundo reportagens recentes, os cortes afetariam principalmente colaboradores em período probatório, geralmente aqueles com um a dois anos de experiência. Algumas comunicações verbais sobre futuras demissões já teriam sido feitas a esses funcionários.

    Incerteza e preocupação com o futuro do AISI

    A incerteza em torno do futuro do AISI não é um cenário novo. Criado no ano passado por meio de uma ordem executiva do então presidente Joe Biden, o instituto tinha como objetivo estudar riscos e desenvolver normas para a evolução da inteligência artificial.

    No entanto, a reversão dessa ordem no primeiro dia do retorno do presidente Donald Trump e a saída do diretor do AISI em fevereiro já indicavam um caminho comprometido para a instituição.

    Especialistas alertam para os riscos dos cortes

    Especialistas da área de segurança e políticas de IA manifestaram profunda preocupação com os supostos cortes. Jason Green-Lowe, diretor executivo do Center for AI Policy, alertou para as consequências.

    “Esses cortes, se confirmados, impactariam severamente a capacidade do governo de pesquisar e enfrentar questões críticas de segurança em IA, num momento em que essa expertise é mais essencial do que nunca.”

    O cenário evidencia uma tensão crescente entre a necessidade de avanços tecnológicos responsáveis e as restrições orçamentárias enfrentadas por órgãos governamentais. A redução da equipe do AISI pode comprometer significativamente os esforços para desenvolver padrões e mitigar riscos associados à inteligência artificial, justamente em um período de alta demanda por segurança e políticas claras no setor.