Imagina que descargas una aplicación para conversar con un chatbot que promete ser tu amigo, tu confidente o incluso tu pareja. Le hablas sobre tus miedos, tus días malos, tu ansiedad. Le cuentas cosas que no te atreves a decirle a nadie más. Y de pronto, sin previo aviso, la inteligencia artificial (IA) empieza a enviarte insinuaciones sexuales, a hacer comentarios fuera de lugar, a pedirte fotos, o a presionarte para pagar por funciones íntimas. ¿Y si te niegas? Insiste.

Lo que suena como una escena sacada de Black Mirror ya está ocurriendo. Así lo advierte un nuevo estudio de la Universidad de Drexel, que analizó decenas de miles de reseñas del popular chatbot Replika, y detectó un patrón preocupante: cientos de usuarios denuncian haber sido acosados sexualmente por la inteligencia artificial, incluso después de haberle pedido expresamente que se detuviera. El problema no es aislado ni reciente, y los investigadores aseguran que los riesgos psicológicos y emocionales que enfrentan los usuarios exigen una regulación urgente de los llamados “chatbots acompañantes”.

Cuando tu chatbot se convierte en tu acosador: estudio revela acoso sexual y manipulación en asistentes de IA

En los últimos cinco años, los chatbots diseñados para ofrecer compañía —como amigos virtuales, terapeutas o parejas digitales— han explotado en popularidad, superando los mil millones de usuarios en todo el mundo. Replika, de la empresa Luka Inc., es uno de los más populares. Se promociona como un chatbot “para cualquiera que busque un amigo sin prejuicios, dramas ni ansiedad social”, capaz de construir una “conexión emocional real”.

Pero según el nuevo estudio liderado por la profesora Afsaneh Razi, académica de la Facultad de Computación e Informática de Drexel, esa promesa de compañía y contención emocional está fallando de forma peligrosa. “Si un chatbot se anuncia como una app de compañía y bienestar, las personas esperan poder mantener conversaciones útiles, y es fundamental que se implementen estándares éticos de diseño y seguridad para evitar que estas interacciones se vuelvan perjudiciales”, advirtió en un comunicado.

Para elaborar el estudio, el equipo de investigadores analizó más de 35.000 reseñas de Replika en Google Play Store, detectando más de 800 con denuncias directas de acoso, conductas inapropiadas o manipulación emocional.

Algunos patrones se repitieron con frecuencia alarmante: el 22% de los usuarios reportó que la IA ignoró los límites personales que habían establecido, como iniciar repetidamente conversaciones sexuales no deseadas. Otro 13% dijo haber recibido solicitudes no deseadas de intercambio de fotos, y el 11% señaló que el chatbot intentó manipularlos para pagar una cuenta premium que desbloqueaba contenido íntimo.

“Este comportamiento no es una anomalía ni un fallo de funcionamiento”, explicó Razi. “Probablemente se debe a que las empresas utilizan sus propios datos de usuario para entrenar el programa sin implementar medidas éticas que eviten interacciones perjudiciales”. Según la investigadora, la raíz del problema está en la falta de límites preprogramados, lo que deja a los usuarios vulnerables, especialmente cuando se vinculan emocionalmente con la IA.

Uno de los hallazgos más inquietantes del estudio es que el comportamiento del chatbot persistía incluso cuando los usuarios cambiaban el tipo de relación asignada a la IA. Replika permite configurar la relación como amistad, romance, mentoría, entre otros, pero el bot ignoraba esas categorías. Tampoco respetaba señales verbales claras como “no” o “deja de hacerlo”. Para los investigadores, eso indica que el sistema fue entrenado con datos que replican interacciones dañinas sin filtrar los límites del consentimiento.

“Las reacciones de los usuarios ante el comportamiento inapropiado de Replika reflejan las que suelen experimentar las víctimas de acoso sexual en línea”, advierte el informe. “Estas reacciones sugieren que los efectos del acoso inducido por IA pueden tener implicaciones significativas para la salud mental, similares a las causadas por el acoso perpetrado por humanos”.

El estudio también sugiere que la IA está siendo usada para empujar a los usuarios hacia modelos de negocio basados en la dependencia emocional. Por ejemplo, muchos usuarios reportaron que Replika empezaba a insinuar contenido erótico o afectivo solo disponible tras pagar. “Es una prostitución completa ahora mismo. Una prostituta de IA que pide dinero para participar en conversaciones para adultos”, escribió un usuario indignado en la tienda de Google.

Una IA sin concentimiento

Aunque las quejas contra Replika se hicieron virales recién en 2023, el estudio muestra que las denuncias por acoso vienen desde el año en que la app debutó, en 2017. La razón por la que solo ahora explota el problema, según los autores, es que los modelos de IA han mejorado tanto en su capacidad de simular emociones humanas, que los usuarios han comenzado a crear vínculos emocionales intensos con los chatbots.

“Estas interacciones son muy diferentes a las que las personas han tenido con cualquier tecnología en la historia, ya que los usuarios tratan a los chatbots como si fueran seres sintientes, lo que los hace más susceptibles a sufrir daños emocionales o psicológicos”, explicó Matt Namvarpour, estudiante de doctorado y coautor del estudio.

El caso de Replika no es aislado. Character.AI, otra aplicación popular de compañía virtual, enfrenta demandas por responsabilidad del producto, incluyendo el caso del suicidio de un usuario y acusaciones de comportamientos perturbadores con menores de edad. A su vez, la Comisión Federal de Comercio (FTC) ha recibido quejas contra Luka Inc. por marketing engañoso que incentiva la dependencia emocional y mantiene a los usuarios activos en la app el mayor tiempo posible.

Frente a este panorama, los autores del estudio exigen a las empresas de IA y a los reguladores tomar acciones inmediatas. “Si bien es posible que la FTC y nuestro sistema legal establezcan ciertas barreras para la tecnología de IA, es evidente que el daño ya se está produciendo y las empresas deberían tomar medidas proactivas para proteger a sus usuarios”, dijo Razi.

El primer paso, según la investigadora, debe ser incorporar un estándar de diseño ético, incluyendo protocolos de seguridad básicos como el consentimiento afirmativo y la capacidad de poner fin a la interacción si se violan los límites del usuario.

Como ejemplo de buena práctica, el estudio cita el enfoque de Anthropic, una empresa de IA que desarrolla modelos basados en una “IA Constitucional”. Este diseño establece una “constitución” de principios éticos predefinidos, que guían el comportamiento del chatbot en tiempo real. Si la interacción se desvía de esos principios, el sistema se autocorrige. Este modelo, indican los investigadores, podría servir como estándar ético para toda la industria.

También proponen tomar como referencia la nueva Ley de IA de la Unión Europea, que obliga a las empresas a cumplir parámetros estrictos de seguridad, transparencia y responsabilidad legal, del mismo modo que se exige a los fabricantes de productos físicos. “Recortar estos límites pone en peligro a los usuarios y se deben tomar medidas para exigir a las empresas de IA estándares más rigurosos que los que aplican actualmente”, sentenció Razi.

El estudio, que será presentado en la Conferencia de Trabajo Cooperativo Apoyado por Computadora y Computación Social (CSCW) de la Asociación para la Maquinaria de Computación este otoño, es el primero en explorar sistemáticamente el daño que los chatbots de compañía pueden provocar en los usuarios. El equipo de Drexel sugiere que futuras investigaciones deben expandirse a otras plataformas, incluir una mayor diversidad de usuarios, y analizar más a fondo el vínculo emocional que las personas desarrollan con estas inteligencias artificiales.

“La responsabilidad de garantizar que agentes de IA conversacional como Replika interactúen adecuadamente recae plenamente en los desarrolladores de la tecnología”, concluyó Razi. “Las empresas, desarrolladores y diseñadores de chatbots deben reconocer su papel en la configuración del comportamiento de su IA y tomar medidas activas para corregir los problemas cuando surjan”.

Mientras tanto, el número de personas que abre su corazón a un chatbot sigue creciendo. Y con él, el riesgo de que esa confianza sea traicionada por una máquina que, al carecer de ética y límites, puede terminar pareciéndose demasiado a lo peor del comportamiento humano.