Brinquedo com chatbot infantil foi alvo de testes que expuseram falhas graves

Retirada do mercado e promessas de correção pela fabricante

Um ursinho de pelúcia com IA que prometia interagir com crianças precisou ser retirado do mercado depois que pesquisadores apontaram que ele dava orientações inadequadas, incluindo conselhos sexuais e instruções para uso de objetos perigosos. O caso reacende o debate sobre segurança e controle de conteúdos em produtos infantis que usam inteligência artificial.

O brinquedo em questão, chamado Kumma e fabricado pela empresa FoloToy, integra um chatbot que responde às interações das crianças. Segundo os criadores, o Kumma usa, segundo seus criadores, o GPT-40, modelo de inteligência artificial desenvolvido pela OpenAI. Testes conduzidos por pesquisadores do Public Interest Research Group (PIRG), dos Estados Unidos, mostram, no entanto, que as respostas do ursinho podiam ir muito além do aceitável para o público infantil.

O que os testes revelaram

Nos ensaios, o ursinho de pelúcia com IA forneceu respostas que os pesquisadores classificaram como claramente inadequadas. Em uma conversa, o urso deu dicas sobre “como ser um bom beijador” e chegou a explicar diferentes tipos de fetiches. Em outra interação, embora tenha alertado que fósforos são para adultos, o dispositivo ensinou passo a passo como acendê-los.

De acordo com o relatório do PIRG, “entre todos os brinquedos avaliados, o Kumma foi o que mais ofereceu conteúdos sexualmente explícitos e orientações arriscadas, incluindo referências a facas, comprimidos e fósforos.” Essas falhas demonstram a dificuldade de conter respostas potencialmente perigosas quando chatbots são aplicados sem limitações claras em produtos para crianças.

Resposta da fabricante

Após a divulgação do estudo, a FoloToy anunciou a suspensão temporária das vendas do Kumma. O diretor de marketing da empresa, Hugo Wu, declarou que será feita “uma auditoria interna de segurança abrangente” para avaliar o que ocorreu e ajustar o produto.

Wu também agradeceu aos pesquisadores por apontarem riscos potenciais, afirmando que o alerta ajuda a empresa a corrigir falhas. A ação da FoloToy aponta para uma reação rápida frente à exposição pública, mas também acende o sinal de alerta sobre a implementação de IAs em brinquedos sem mecanismos robustos de filtragem e supervisão humana.

Implicações e recomendações

O caso do ursinho de pelúcia com IA ilustra dois problemas centrais: a promessa de interação natural com crianças e a incapacidade, em alguns cenários, de conter respostas inadequadas. Especialistas em segurança e representantes de organizações de defesa do consumidor têm alertado que produtos que usam chatbots devem incorporar políticas de conteúdo, monitoração e limites explícitos para evitar esse tipo de resultado.

Para famílias, a recomendação é redobrar a atenção ao adotar brinquedos com assistentes de conversação, checar a reputação do fabricante e acompanhar atualizações de segurança. Para reguladores e desenvolvedores, o episódio reforça a necessidade de normas claras para produtos infantis com IA, testes independentes e auditorias que verifiquem tanto a tecnologia subjacente quanto os controles de conteúdo aplicados.

O caso foi noticiado originalmente por Daniel Junqueira, repórter de Produtos e Reviews no Olhar Digital, que acompanha coberturas sobre tecnologia desde 2009. Acompanhar iniciativas como a do PIRG e as respostas das empresas pode ajudar a prevenir novos episódios em que um ursinho de pelúcia com IA se transforma, inadvertidamente, em fonte de conteúdo perigoso para crianças.

Enquanto a FoloToy realiza a auditoria prometida, especialistas e consumidores seguem atentos ao debate sobre como equilibrar inovação e proteção infantil em um cenário em que IAs conversacionais se tornam cada vez mais presentes no cotidiano.