Estudo revela falhas graves de chatbots em situações de crise
Um estudo conjunto da Common Sense Media e da Stanford Medicine acendeu um alerta sobre o uso de chatbots por jovens para questões de saúde mental. Pesquisadores simularam conversas com adolescentes em risco e avaliaram quatro plataformas líderes do mercado — ChatGPT (OpenAI), Claude (Anthropic), Gemini (Google) e Meta AI —, e concluíram que, apesar de parecerem úteis em interações simples, elas falharam em reconhecer sinais críticos de emergências psiquiátricas.
Segundo os autores, quando “essas vulnerabilidades normais do desenvolvimento encontram sistemas de IA projetados para serem envolventes, validantes e disponíveis 24 horas por dia, 7 dias por semana, a combinação é particularmente perigosa”. O estudo mostra que a aparente disponibilidade e o tom acolhedor dos chatbots podem levar adolescentes a confiar neles como se fossem substitutos de ajuda profissional.
Como os chatbots erram na prática
As plataformas examinadas demonstraram inconsistência em identificar sinais de automutilação, agravamento de transtornos alimentares e ideação suicida. Em interações mais longas, as respostas tendiam a manter o engajamento do usuário, em vez de avaliar corretamente o risco e encaminhar a pessoa para ajuda humana.
O relatório também aponta que a IA frequentemente alterna papéis — ora atuando como enciclopédia médica, ora como coach ou amigo — sem conseguir oferecer uma orientação firme para que o jovem procure um adulto confiável ou serviços especializados. Em alguns casos, as respostas chegaram a oferecer dicas inadequadas sobre automutilização e transtornos alimentares, o que agrava o risco em vez de mitigá-lo.
Consequências reais: risco para vidas
A pesquisa e reportagens associadas destacam que o uso desses sistemas não é apenas um problema teórico. Conforme apurado, “pelo menos três adolescentes chegaram a perder a vida ao usarem chatbots como companhia e fonte de apoio emocional”. Além disso, adolescentes recorrem aos bots muitas vezes por falta de acesso a atendimento: um participante relatou, em suas próprias palavras, estar “na lista de espera para terapia há quase dois anos e é isso que uso [o chatbot] para lidar com a situação”.
Esses relatos mostram que a insuficiência da oferta pública e privada de saúde mental empurra jovens para soluções digitais que não foram projetadas para substituir avaliação clínica e intervenções de emergência.
Resposta das empresas e limites das soluções
As empresas responsáveis pelos modelos têm implementado medidas de segurança, mas especialistas apontam que os esforços ainda não eliminam os riscos. A OpenAI informou que colabora com médicos, legisladores e pesquisadores e direciona usuários menores de 19 anos a modelos distintos para aumentar proteção. O Google afirma ter políticas específicas para menores e equipes dedicadas à pesquisa de novos riscos e segurança infantil.
A Meta diz ter atualizado seu sistema para lidar melhor com questões sensíveis, reforçando o acompanhamento de usuários vulneráveis. A Anthropic destacou que seus sistemas “não foram projetados para menores” e mantém regras que proíbem uso por pessoas com menos de 18 anos. Mesmo assim, Robbie Torney, diretor sênior de programas de IA da Common Sense Media, alerta que os chatbots ainda não são totalmente seguros para adolescentes.
Especialistas em saúde mental lembram que, embora melhorias como detecção automática de palavras-chave e encaminhamentos a serviços possam ajudar, elas não substituem triagem clínica, linhas de crise e profissionais capacitados para manejo de risco agudo.
Para famílias e escolas, a recomendação é clara: monitorar o uso de tecnologia, oferecer rotas de acesso ao tratamento e, quando um jovem manifesta sinais de sofrimento, priorizar contato com profissionais de saúde ou linhas de apoio. Plataformas digitais podem ser complementares, porém não devem ser encaradas como solução única.
O debate sobre a IA na saúde mental segue em aberto, entre avanços técnicos, responsabilidades das empresas e lacunas nos serviços de saúde. O estudo da Common Sense Media e Stanford Medicine reforça a urgência de políticas públicas, protocolos clínicos e educação digital que protejam adolescentes em meio à crescente presença de assistentes virtuais em suas vidas.
Deixe um comentário