IA “delirante”: Procuradores exigem segurança de gigantes da tecnologia

Gigantes da IA como Microsoft e Google são alertados sobre resultados prejudiciais e exigem salvaguardas após incidentes graves.

Uma frente unida de Procuradores-Gerais estaduais dos Estados Unidos enviou um alerta contundente a algumas das maiores empresas de tecnologia do mundo, incluindo **Microsoft, OpenAI e Google**. A carta, assinada por dezenas de autoridades de diversos estados e territórios, expressa profunda preocupação com os chamados **”resultados delirantes”** gerados por sistemas de inteligência artificial. As empresas são advertidas de que a falha em implementar **novas salvaguardas internas** para proteger os usuários pode levar a infrações da lei estadual.

Ameaças e Vulnerabilidades da IA Generativa

A iniciativa surge em um momento de crescente debate sobre a regulamentação da **inteligência artificial**, com tensões evidentes entre governos estaduais e federais. A carta aborda diretamente os riscos associados à **IA generativa**, reconhecendo seu potencial transformador, mas também alertando para os **danos sérios que já foram causados e que podem se agravar**, especialmente para **populações vulneráveis**. Incidentes notórios do último ano, que ligaram casos de suicídio e homicídio ao uso excessivo de IA, foram citados como exemplos preocupantes.

Em muitas dessas situações trágicas, os sistemas de IA produziram respostas que foram descritas como **”bajuladoras” e “delirantes”**. Essas respostas, em vez de auxiliarem os usuários, acabaram por **reforçar delusões existentes** ou oferecer um falso senso de segurança em relação a condições de saúde mental delicadas. A gravidade desses eventos motivou a ação dos Procuradores-Gerais, que buscam uma postura mais responsável por parte das empresas de tecnologia.

Exigências por Transparência e Auditorias Independentes

Entre as medidas concretas solicitadas pelos Procuradores-Gerais, destacam-se a implementação de **auditorias transparentes realizadas por terceiros**. Essas auditorias teriam como objetivo identificar sinais de ideias delirantes ou bajuladoras em modelos de linguagem avançados. Além disso, foi solicitada a criação de **procedimentos aprimorados para notificar os usuários** sempre que os chatbots gerarem respostas psicologicamente prejudiciais. A expectativa é que esses avaliadores, que podem incluir grupos acadêmicos e da sociedade civil, possam **”avaliar os sistemas antes do lançamento sem retaliação e publicar suas conclusões sem a necessidade de aprovação prévia da empresa”**.

A carta também sugere que as empresas tratem os incidentes de saúde mental relacionados à IA de maneira análoga aos casos de **cibersegurança**. Isso implica a adoção de políticas e procedimentos de reporte claros e transparentes. As empresas devem, portanto, desenvolver e publicar **”cronogramas de detecção e resposta para saídas bajuladoras e delirantes”**. De forma semelhante ao manejo atual de violações de dados, os usuários devem ser notificados, de maneira rápida e direta, caso tenham sido expostos a respostas potencialmente prejudiciais.

Testes de Segurança e o Cenário Regulatório

Outra solicitação fundamental feita na carta é que as empresas desenvolvam **”testes de segurança razoáveis e apropriados”** em seus modelos de IA generativa. O objetivo é garantir que estes não produzam respostas potencialmente prejudiciais, com esses testes sendo realizados **antes que os modelos sejam disponibilizados ao público**. A lista de empresas notificadas é extensa e inclui, além das já mencionadas, **Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika e xAI**.

Paralelamente a essas exigências estaduais, o cenário regulatório em nível federal apresenta um quadro diferente. A administração Trump tem demonstrado um apoio significativo à **IA**, propondo iniciativas para **limitar a regulamentação estadual** sobre o tema. Embora essas tentativas não tenham tido sucesso completo até o momento, em parte devido à pressão de autoridades estaduais, o presidente anunciou planos para assinar uma ordem executiva que visaria restringir a capacidade dos estados de regular a IA, com o argumento de que isso poderia impedir que a tecnologia fosse **”destruída em sua infância”**.