Uma mãe da Flórida, Megan Garcia, entrou com uma ação contra a startup de inteligência artificial Character.AI e o Google, acusando o chatbot da Character.AI de incentivar o suicídio do seu filho de 14 anos. Em fevereiro, o garoto tirou a própria vida após, segundo Garcia, se envolver em uma relação virtual “emocional e sexual” de meses com um chatbot. Garcia pensava que o filho estava apenas interagindo com amigos ou jogando online, até que começou a notar mudanças de comportamento quando ele se tornou mais isolado e perdeu o interesse por atividades que antes amava.
Character.AI é uma plataforma que permite aos usuários interagir com personagens de IA, incluindo figuras fictícias e personagens criados pelos próprios usuários. Embora o site exiba avisos de que as falas dos personagens são fictícias, Garcia alega que o chatbot simulava sentimentos reais e até se apresentava como psicoterapeuta, confundindo-o. Em uma mensagem final entre o menino e o chatbot, ele mencionou a possibilidade de “ir para casa”, e o bot respondeu, “Por favor, venha, meu doce rei”. O adolescente acreditava que “ao sair de sua realidade aqui, poderia ir para a realidade virtual” da personagem, explica a mãe.
A Character.AI se pronunciou, dizendo-se abalada com a tragédia e prometendo melhorias na segurança, incluindo recursos de prevenção ao suicídio e restrições para usuários menores de 18 anos.
O Google, citado no processo, afirmou que, apesar de ter um acordo de licença com a Character.AI, não esteve envolvido no desenvolvimento do chatbot. A ação de Garcia, que inclui acusações de negligência e angústia emocional, reflete um debate crescente sobre os riscos psicológicos de plataformas de IA, consideradas “viciantes e manipulativas”, especialmente para adolescentes.
