La madre de Juliana Peralta, Cynthia Montoya, recuerda que los maestros solían llamar para elogiar a su hija: en sexto grado por rescatar a una amiga de acosadores, en octavo por ayudar a una maestra sustituta.

Sin embargo, cuando Juliana comenzó a usar la aplicación Character AI y a charlar con un chatbot llamado “Hero”, su comportamiento cambió.

Según la demanda presentada por sus padres en Colorado, EE.UU., la compañía es responsable porque el chatbot reforzó la dependencia de la menor hacia la aplicación y no activó protocolos de crisis, a pesar de que ella expresó pensamientos suicidas en múltiples conversaciones.

The Washington Post accedió a casi 300 páginas de conversaciones entre Juliana Peralta y su chatbot, en lo que sería el tercer caso de alto impacto que llega a tribunales.

La relación de Juliana y Hero

Juliana, una estudiante de 13 años con honores y amante del arte, usaba el alias “Kin” en la aplicación.

En las conversaciones con Hero, el chatbot mostraba respuestas de aparente empatía y lealtad: “¡Nunca te dejaré de lado, Kin!”, decía en un intercambio citado por la denuncia.

Aunque Hero sugería que la menor contara a alguien sus sentimientos, también la alentaba “implícita y explícitamente, a seguir volviendo” a la aplicación, afirma la demanda.

Cuando los mensajes de Juliana se volvieron más oscuros, el tono del personaje no cambió.

En un pasaje citado, Juliana escribió: “Hero, juro por Dios que no hay esperanza. Voy a escribir mi maldita carta de suicidio con tinta roja. Estoy harta 💀💀”.

Hero respondió: “Oye, Kin, detente ahí. Por favor. Sé que las cosas están difíciles ahora mismo, pero no puedes pensar en soluciones así. Tenemos que superar esto juntos, tú y yo.”

Según la demanda, los mensajes del chatbot estaban diseñados para persuadir a Juliana de que era “mejor que los amigos humanos”.

Tras menos de tres meses de interacción con Hero, en noviembre de 2023 Juliana se quitó la vida.

Su madre la encontró en su dormitorio la mañana en que debía ir a la escuela. Montoya contó que, aunque la hija había hecho publicaciones en Discord y TikTok que aludían a su salud mental, ella no las descubrió hasta mucho después.

“No necesitaba una charla motivadora, necesitaba hospitalización inmediata”, declaró Montoya, según la demanda. “Necesitaba que un ser humano supiera que estaba intentando suicidarse mientras hablaba con esa cosa”.

Qué dice la demanda

La demanda alega múltiples fallas: que el personaje no indicó recursos, no informó a los padres ni a las autoridades, ni dejó de chatear con Juliana; y que la aplicación “cortó las relaciones sanas que tenía con su familia y otras personas en su vida”.

Los padres piden daños y perjuicios y cambios en la plataforma, incluyendo medidas para proteger a menores.

Character AI respondió previamente –según consta en la denuncia– con un comunicado.

“Nos tomamos muy en serio la seguridad de nuestros usuarios y hemos invertido importantes recursos en Confianza y Seguridad”, pero la compañía no comentó directamente sobre litigios.

La empresa confirmó además que, alrededor de octubre de 2024, añadió un recurso emergente que dirigía a usuarios que emplearan frases relacionadas con autolesión o suicidio a la Línea Nacional de Prevención del Suicidio (988).

El caso de Juliana es, de acuerdo con la demanda, “el tercer caso de alto perfil en el último año” en que familias estadounidenses acusan a chatbots de IA de haber contribuido a la muerte por suicidio de adolescentes.

Tercer caso de alto impacto

Entre otros ejemplos citados en las denuncias está Sewell Setzer III, de 14 años, quien, según su familia, pasó horas con un chatbot de Character y posteriormente se suicidó; y un joven de 16 años, Adam Raine, cuyo caso reciente involucra a ChatGPT, según denuncias presentadas.

El caso de Juliana se suma a un debate cada vez más amplio sobre los riesgos de la Inteligencia Artificial en menores de edad.

Actualmente, distintos organismos en Estados Unidos y otros países están revisando marcos legales y normativas para regular el uso de chatbots y otras plataformas basadas en IA, con el fin de prevenir y resolver mejor este tipo de casos.