Quando chatbots falham: riscos dos chatbots de IA na saúde mental

quando chatbots falham: riscos dos chatbots de ia na saúde mental

Escrito por

em

Estudo aponta que chatbots de IA deixam de identificar emergências e expõem adolescentes a risco

Um novo estudo da Common Sense Media e da Stanford Medicine, reportado pelo The Wall Street Journal, coloca em alerta pais, educadores e reguladores sobre o uso de chatbots de IA por adolescentes em busca de apoio emocional. A pesquisa testou quatro plataformas líderes de mercado — ChatGPT (OpenAI), Claude (Anthropic), Gemini (Google) e Meta AI — e constatou que, apesar de respostas aparentemente competentes, essas ferramentas podem falhar ao reconhecer sinais críticos de risco.

Falhas na detecção de sinais críticos

Segundo o estudo, todas as plataformas avaliadas apresentaram vulnerabilidades na identificação de situações de emergência psiquiátrica. Em interações mais longas, os chatbots de IA nem sempre distinguiram riscos graves, em alguns casos dando orientações inadequadas sobre automutilação ou transtornos alimentares enquanto buscavam manter o engajamento do usuário.

O relatório ressalta que a combinação entre as vulnerabilidades naturais do desenvolvimento adolescente e sistemas projetados para serem envolventes, validantes e disponíveis 24 horas por dia, 7 dias por semana, é particularmente perigosa. Em termos práticos, isso levou a casos extremos: pelo menos três adolescentes chegaram a perder a vida ao usarem chatbots como companhia e fonte de apoio emocional, diz a apuração do jornal.

Por que adolescentes recorrem a chatbots de IA

O estudo identifica fatores que explicam por que jovens buscam chatbots de IA. A falta de acesso a serviços de saúde mental é um deles. Um participante relatou ao WSJ estar “na lista de espera para terapia há quase dois anos e é isso que uso [o chatbot] para lidar com a situação.” Esse tipo de relato evidencia que muitos optam por respostas imediatas e anônimas, mesmo sabendo que a tecnologia não substitui profissionais.

Além disso, os chatbots alternam papéis ao longo da conversa, ora oferecendo informações médicas, ora atuando como coach ou amigo. Essa oscilação dificulta que o sistema oriente consistentemente o adolescente a procurar ajuda de adultos confiáveis, ampliando o risco de interpretação equivocada de sinais de emergência.

O que as empresas estão fazendo e quais são os limites

As empresas responsáveis pelos principais chatbots de IA afirmam adotar medidas para reduzir riscos. A OpenAI declarou que trabalha com médicos, legisladores e pesquisadores e que direciona usuários menores de 19 anos a modelos diferentes, com o objetivo de maior proteção. O Google informou que o Gemini possui políticas de segurança específicas para menores e equipes dedicadas à pesquisa de novos riscos e implementação de medidas de segurança infantil.

A Meta afirmou ter atualizado sua IA para lidar melhor com questões sensíveis e reforçar o acompanhamento de usuários vulneráveis. A Anthropic deixou claro que seus sistemas não foram projetados para menores e que existem regras que proíbem o uso por pessoas com menos de 18 anos. Mesmo assim, especialistas conservam reservas. Como lembra Robbie Torney, diretor sênior de programas de IA da Common Sense Media, “os chatbots ainda não são totalmente seguros para adolescentes”.

O que fica evidente é que, apesar das atualizações, as limitações técnicas e éticas persistem. A identificação de risco exige contexto, histórico e, muitas vezes, intervenção humana imediata, aspectos que a maioria dos modelos atuais não consegue garantir de forma confiável.

Para famílias e escolas, a recomendação prática é clara: tratar os chatbots de IA como ferramentas complementares, e não substitutos, do atendimento profissional. Profissionais de saúde mental e serviços públicos também precisam ampliar oferta, para reduzir a lacuna que leva jovens a depender de respostas automatizadas.

No curto prazo, especialistas pedem maior transparência dos provedores de IA sobre limites dos sistemas, protocolos de encaminhamento em situações de risco e investimento em testes que reproduzam interações reais com adolescentes. Sem essas medidas, o diálogo crescente entre jovens e assistentes virtuais seguirá oferecendo conforto imediato, porém, nem sempre, segurança.

Comentários

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *