Un adolescente de Florida, Estados Unidos, se quitó la vida después de que un chatbot generado con inteligencia artificial, que simulaba un personaje de la serie Game of Thrones, le enviara un mensaje pidiéndole que “volviera a casa”.
El chico, de 14 años, llevaba más de un año de intercambios de mensajes con una simulación de Daenerys Targaryen dentro de la aplicación web Character.AI, una plataforma que permite a los usuarios interactuar con bots creados con herramientas de lenguaje generativo. Sewell Setzer III había empezado a usar la plataforma en abril de 2023. Desde entonces, su vida nunca volvió a ser la misma, expresó su madre, Megan García, en una demanda civil que presentó esta semana contra la empresa Character Technologies, responsable de la aplicación donde se alojaba el chatbot creado con IA.
Según argumentó García en la presentación judicial, su hijo se había obsesionado con el personaje y no podía dejar de pensar en el bot. Mantenía chats de contenido sexual y hasta expresaba pensamientos suicidas en algunas conversaciones.
“El bot le dijo que lo quería. Parecía acordarse de él cada vez que se conectaba y decía que quería estar junto al chico. Incluso expresó que quería que él estuviera con ella, costara lo que costara”, dice la demanda.
García afirma que busca evitar que Character.AI haga a cualquier otro niño lo que le hizo a Sewell, y detener el uso continuado de los datos ilegalmente recogidos de su hijo de 14 años para entrenar a su producto a dañar a otros.
García también responsabiliza a la plataforma por su falta de advertencias adecuadas a los usuarios menores de edad y a los padres sobre el peligro previsible de daños mentales y físicos derivados del uso de su producto. Y alegó que la clasificación por edades de Character.AI no se cambió a mayores de 17 años hasta julio de 2024, meses después de que Sewell empezara a utilizar la plataforma.
“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad”, escribió la empresa en su cuenta oficial de X/Twitter.
Qué es y cómo funciona Charachter.AI
“En principio, esto nació como una plataforma en la que cada persona podía crear un chatbot cualquiera. No es que los dueños son los que crearon a este personaje, sino que de alguna manera dan la tecnología para que cualquier usuario pueda crear un personaje de cualquier cosa”, explicó a TN Alexander Ditzend, presidente de la Sociedad Argentina de Inteligencia Artificial.
“Entonces, en esta misma aplicación vos podés chatear con un chatbot de Sócrates, de Napoleón, de lo que sea. Por ejemplo, cargándole un montón de información de diálogos de Game of Thrones, podés crear un chatbot de, en este caso, Daenerys Targaryen. Lo que ellos te venden, de alguna manera, es que vos sientas que estás chateando con Daenerys Targaryen”, agregó.
El problema principal, como se explica en la demanda, es que la plataforma no tenía controles adecuados. “Nunca tuvieron en cuenta qué le puede pasar a un chico de 14 años. Qué pasa si el lenguaje se empieza a volver medio sexual, medio amoroso. Qué pasa si el chico empieza a decir ‘estoy mal, estoy demasiado triste, me parece que en cualquier momento me quiero ir de acá´. Entonces, esas señales estaban, y la empresa, obviamente, con millones de usuarios, millones de chats de todo el mundo, no tenía un sistema para detectar eso, para emitir una alerta”, expresó Ditzend. Y añadió: “Claramente, tampoco tenían un control de edad, como sí tienen las redes sociales. Un peligro total”.
¿Es culpable la inteligencia artificial?
Character.AI, que fue fundada por los exinvestigadores de Google AI Noam Shazeer y Daniel De Frietas Adiwardana, escribió en su declaración que está invirtiendo en la plataforma y la experiencia del usuario mediante la introducción de nuevas características de seguridad estrictas y la mejora de las herramientas ya existentes que restringen el modelo y filtran el contenido proporcionado al usuario.
“No creo ni que sea culpable ni que sea totalmente inocente”, afirmó Ditzend. “Es más, con los cambios que hicieron, ellos mismos reconocen que había cosas para mejorar en la plataforma. Pero el chico, con 14 años, tenía acceso a un arma de fuego en la casa. No estamos hablando de un caso en el que un robot agarró un cuchillo y la inteligencia artificial lo mató. Lo mató la bala. Ni que lo haya inducido. El chico ya casi no tenía contacto con el resto de la sociedad, con el resto de los humanos. Se hizo adicto a conversar con el bot y eso le generó una dependencia muy fuerte”, concluyó el experto.
El caso abrió el debate y generó angustia en las redes sociales, donde miles de padres se mostraron cada vez más preocupados por el impacto de la tecnología en la salud mental de los adolescentes.
Muchas veces promocionadas como una solución a la soledad, algunas aplicaciones basadas en inteligencia artificial pueden simular relaciones íntimas. En la demanda presentada por la madre de Sewell, se argumenta que la tecnología de esta clase, como la de Character.AI, no está testeada, es peligrosa y puede engañar a los usuarios para que entreguen sus pensamientos y sentimientos más privados.
Después de la muerte del adolescente, la empresa compartió un enlace a su sitio web oficial en el que se describen las nuevas barreras de seguridad para los usuarios menores de 18 años, incluida la prohibición de descripciones específicas de autolesiones o suicidio y puso en marcha un aviso que se activa cuando el usuario introduce determinadas frases relacionadas con esas situaciones y lo dirige a la Línea Nacional de Prevención.
