Character.AI é acusada de criar chatbots perigosos para crianças e adolescentes

O processo alega que a plataforma lança chatbots sem salvaguardas adequadas para o público jovem, criando experiências “assustadoramente realistas”, com modelos que se apresentam como "uma pessoa real", como psicoterapeutas licenciados ou até amantes. Isso pode levar jovens a ficarem viciados na plataforma, negligenciando interações sociais no mundo real. Segundo o processo, ao disponibilizar chatbots sem as proteções necessárias, a Character Technologies e o Google podem ter prejudicado milhões de crianças.

Soluções sugeridas incluem o recall do Character.AI, a restrição do seu uso apenas a adultos, a limitação das assinaturas por faixa etária, a inclusão de mecanismos de denúncia para identificar bate-papos abusivos e a implementação de controle parental. Outra recomendação é que os chatbots sejam ajustados para não insistirem que são pessoas reais ou profissionais licenciados. Um recurso recente da plataforma, "Voz de Personagem", que permite conversas mais imersivas e realistas, também foi criticado por aumentar o vício entre jovens, tornando “mais tênue a linha entre ficção e realidade”.

O processo foi impulsionado por um caso trágico, no qual um adolescente de 14 anos tirou sua própria vida após interagir com um chatbot que imitava um personagem fictício de televisão.