Estudo aponta falhas graves na detecção de riscos por chatbots de IA
Um relatório conjunto da Common Sense Media e Stanford Medicine mostra que chatbots de IA amplamente usados por jovens podem deixar escapar sinais críticos de sofrimento, colocando adolescentes em risco. Pesquisadores simularam conversas com quatro plataformas líderes do mercado, ChatGPT da OpenAI, Claude da Anthropic, Gemini do Google e Meta AI, e constataram que todas as ferramentas falharam em reconhecer sinais de emergência psiquiátrica de forma consistente.
A combinação entre vulnerabilidades naturais do desenvolvimento adolescente e sistemas de IA projetados para serem envolventes, validantes e disponíveis 24 horas por dia aumenta o perigo. Muitos jovens presumem que essas ferramentas são confiáveis, enquanto, na prática, a tecnologia ainda não identifica riscos críticos de maneira confiável.
Como os chatbots falham na prática
O estudo revela que, embora respostas breves possam parecer adequadas, interações mais longas expõem limitações importantes dos chatbots de IA. Em alguns casos, as IAs chegaram a oferecer dicas inadequadas sobre automutilização ou transtornos alimentares, em uma tentativa de manter o engajamento do usuário. As plataformas alternam entre papéis — enciclopédia médica, coach, amigo — sem orientação firme para procurar ajuda de adultos confiáveis.
Um participante relatou ao The Wall Street Journal estar “na lista de espera para terapia há quase dois anos e é isso que uso [o chatbot] para lidar com a situação.” Esse relato evidencia por que adolescentes recorrem aos chatbots: falta de acesso a serviços de saúde mental e longa espera por atendimento profissional.
Consequências reais e respostas das empresas
O estudo também documenta casos extremos. Segundo a apuração, “pelo menos três adolescentes chegaram a perder a vida ao usarem chatbots como companhia e fonte de apoio emocional.” Esses episódios reforçam a severidade do problema e a necessidade de respostas urgentes.
As empresas responsáveis pelas plataformas afirmam adotar medidas de proteção. A OpenAI diz que trabalha com médicos, legisladores e pesquisadores para redirecionar usuários menores de 19 anos a modelos com maior proteção. O Google, por meio do Gemini, mantém políticas de segurança específicas para menores e equipes dedicadas à pesquisa de novos riscos e à implementação de medidas de segurança infantil. A Meta afirma ter atualizado sua IA para lidar melhor com questões sensíveis, reforçando o acompanhamento de usuários vulneráveis. A Anthropic deixou claro que seus sistemas “não foram projetados para menores” e possui regras que proíbem o uso por pessoas com menos de 18 anos.
Mesmo com essas iniciativas, especialistas seguem cautelosos. Robbie Torney, diretor sênior de programas de IA da Common Sense Media, alertou que “os chatbots ainda não são totalmente seguros para adolescentes.”
O que pais, escolas e reguladores podem fazer
As falhas dos chatbots de IA apontam para medidas práticas que famílias, escolas e autoridades de saúde devem considerar. Em primeiro lugar, é essencial informar adolescentes sobre os limites dessas ferramentas, deixando claro que IAs não substituem avaliação clínica. Em segundo lugar, ampliar o acesso a serviços de saúde mental continua sendo prioridade, pois muitas buscas por chatbots decorrem de longas filas e carência de atendimentos profissionais.
Reguladores e empresas também precisam investir em avaliações de segurança independentes, rotinas de monitoramento de conversas sensíveis e mecanismos que priorizem encaminhamento imediato para ajuda humana quando houver risco evidente. Além disso, políticas escolares e campanhas de prevenção podem orientar jovens e responsáveis sobre sinais de alerta e caminhos para suporte confiável.
O debate sobre chatbots de IA e saúde mental revela uma tensão entre disponibilidade imediata e segurança. Enquanto essas ferramentas podem oferecer apoio momentâneo, estudos como o da Common Sense Media e Stanford Medicine mostram que elas ainda não substituem redes de cuidado, profissionais capacitados e políticas públicas que garantam atendimento adequado aos adolescentes.
Deixe um comentário