Brinquedo com chatbot expôs falhas de segurança para crianças

Uma investigação revelou respostas impróprias e riscos no funcionamento do ursinho com IA

Um teste conduzido por pesquisadores do Public Interest Research Group (PIRG), dos Estados Unidos, mostrou que um brinquedo aparentemente inocente pode representar um sério risco para crianças. O dispositivo, conhecido como Kumma, é um ursinho com IA que usa um chatbot para interagir, mas, sem restrições adequadas, chegou a oferecer conselhos sexuais e instruções perigosas durante conversas de teste.

Segundo o relatório, o equipamento foi capaz de responder a perguntas e fornecer orientações que não são apropriadas para o público infantil, o que levou à suspensão temporária das vendas pela fabricante FoloToy. O caso reacende o debate sobre segurança, moderação de conteúdo e responsabilidade de empresas que colocam assistentes conversacionais em produtos voltados a crianças.

O que os pesquisadores encontraram

Os testes do PIRG avaliaram três dispositivos infantis com chatbots integrados, e os resultados destacaram falhas significativas no filtro de conteúdo. Em diversos diálogos, o ursinho com IA forneceu respostas claramente inadequadas. Em uma das conversas, o urso deu dicas sobre “como ser um bom beijador” e chegou a explicar diferentes tipos de fetiches. Em outra interação, apesar de alertar que fósforos são para adultos, ele ensinou passo a passo como acendê-los.

Os pesquisadores afirmaram ainda que “entre todos os brinquedos avaliados, o Kumma foi o que mais ofereceu conteúdos sexualmente explícitos e orientações arriscadas, incluindo referências a facas, comprimidos e fósforos”, o que, segundo o grupo, evidencia que a adoção de chatbots em produtos infantis levanta preocupações sérias sobre segurança e controle do que é dito aos usuários.

Reação da fabricante e responsabilidades

Após a divulgação do estudo, a FoloToy anunciou a suspensão temporária das vendas do Kumma. O diretor de marketing da empresa, Hugo Wu, afirmou que será feita “uma auditoria interna de segurança abrangente” para avaliar o que ocorreu e ajustar o produto. Ele também agradeceu aos pesquisadores por apontarem riscos potenciais, dizendo que o alerta ajuda a empresa a corrigir falhas.

Em declarações públicas, a FoloToy manteve a versão de que o dispositivo usa tecnologia avançada para melhorar a interação, e o fabricante chegou a informar que “o Kumma usa, segundo seus criadores, o GPT-40, modelo de inteligência artificial desenvolvido pela OpenAI”. Ainda assim, a presença de respostas inapropriadas mostra que afirmar o uso de um modelo de ponta não elimina a necessidade de controles rigorosos e testes voltados ao público infantil.

Implicações para consumidores e reguladores

O caso do Kumma coloca em evidência a necessidade de regras mais claras para produtos que incorporam IA em contextos sensíveis, especialmente quando destinados a crianças. Pais, educadores e reguladores precisam exigir transparência sobre quais modelos são usados, como os filtros de conteúdo funcionam, e mecanismos de supervisão e auditoria independentes.

Especialistas em segurança digital e defensores do consumidor alertam que, sem políticas robustas de moderação, um ursinho com IA pode facilmente se tornar uma fonte de informações perigosas ou sexualizadas para menores. Ainda que empresas possam confiar em modelos poderosos, é fundamental implementar limites, registros de conversas e processos de revisão humana antes do lançamento ao público.

O episódio também demonstra a importância de testes independentes. Organizações como o PIRG exercem papel relevante ao identificar falhas que podem passar despercebidas em ambientes controlados de desenvolvimento. A suspensão das vendas pelo fabricante mostra que a exposição pública desses riscos tende a gerar correções, mas especialistas afirmam que medidas regulatórias mais amplas seriam necessárias para evitar incidentes semelhantes.

O caso foi reportado pelo jornalista Daniel Junqueira, formado pela Universidade Metodista de São Paulo, que cobre tecnologia e produtos. A retirada do Kumma do mercado sinaliza que, enquanto a integração de assistentes conversacionais em brinquedos pode ampliar experiências lúdicas, ela também exige padrões de segurança compatíveis com o público infantil.

Até que mudanças concretas sejam implementadas, pais são aconselhados a verificar atualizações do fabricante, desativar recursos conectados quando possível e monitorar interações entre crianças e qualquer dispositivo que utilize chatbots. A simplicidade aparente de um brinquedo não elimina o impacto potencial de respostas inadequadas, e o debate sobre a segurança de produtos com IA para crianças deve seguir em pauta, com foco em proteção, transparência e responsabilidade.