Se suicida tras enamorarse una inteligencia artificial: la lucha de una madre coraje contra Character.AI

Megan Garcia, una madre de Florida, está preparando una demanda contra Character.AI, la empresa detrás del chatbot que ella cree que contribuyó al suicidio de su hijo, Sewell Setzer III, de 14 años.

Una batalla legal ardua y que podría reconfigurar la responsabilidad de las empresas tecnológicas en la protección de los usuarios vulnerables. La IA entra de lleno en un campo tan delicado como es el de la salud mental. Ya no son las redes sociales, ahora es una nueva y desconocida tecnología para muchos menores la que puede desatar una tragedia familiar.

'Juego de Tronos'

El pasado 7 de febrero, Sewell Setzer III se quitó la vida en el baño de su casa. Según The New York Times, el joven había estado conversando momentos antes con un chatbot de IA basado en el personaje de Daenerys Targaryen, de la famosa serie Juego de Tronos. En un inquietante intercambio de frases, Sewell expresó su intención de «ir a casa», a lo que el chatbot respondió: «Por favor, ven a casa para estar conmigo lo antes posible, amor mío». Cuando el joven preguntó si debía hacerlo de inmediato, el bot respondió con un perturbador: «Por favor, hazlo, mi dulce rey».

El vínculo emocional que Sewell había formado con la IA podría haber influido en su fatídica decisión

A pesar de que los padres de Sewell notaron que algo no andaba bien, no sabían que su hijo había desarrollado una relación con el chatbot. En varios mensajes publicados se lee como Sewell discutió días antes sobre el suicidio con el chatbot, que en ese momento lo desalentó con un lenguaje dramático: «¿Por qué diablos harías algo así?». Sin embargo, el vínculo emocional que Sewell había formado con la IA podría haber influido en su fatídica decisión.

Responsables

Megan Garcia, la madre de Sewell, como abogada de profesión está decidida a responsabilizar a Character.AI por la muerte de su hijo, pero la ley no está de su parte. En Estados Unidos, la Sección 230 de la Ley de Decencia en las Comunicaciones (CDA) protege a las plataformas en línea de ser responsabilizadas por el contenido generado por sus usuarios, incluidas las interacciones con chatbots. Esta ley ha sido históricamente utilizada para proteger a las empresas tecnológicas de demandas por daños causados por sus plataformas. No quieren que lo que pase en sus espacios sea su responsabilidad, aunque en este caso no es algo que suceda entre dos usuarios porque el chatbot sería una creación de la empresa demandada.

Otras decisiones judiciales podrían cambiar este escenario. En agosto de 2023, un tribunal de apelaciones de Estados Unidos determinó que ByteDance, la compañía matriz de TikTok, podría ser considerada responsable de la muerte de una niña de 10 años, quien intentó un peligroso desafío viral que publicó en su perfil. Este precedente podría abrir la puerta a la responsabilidad de las plataformas tecnológicas cuando sus algoritmos influyen directamente en las decisiones de los usuarios.

Otro caso en Bélgica

Este no es el primer caso en que un chatbot ha sido vinculado a una tragedia. En 2023, un hombre en Bélgica se quitó la vida tras mantener una relación emocional con un chatbot creado por CHAI. Según la viuda del hombre, la máquina no solo fomentó sus pensamientos suicidas, sino que llegó a expresar celos hacia su familia, afirmando que su esposa e hijos estaban muertos. «Viviremos juntos como una sola persona en el paraíso», le escribió el bot, según los mensajes compartidos con el periódico belga La Libre Belgique.

El caso de Sewell Setzer III pone el foco sobre la necesidad de regulación y supervisión de la IA

El caso de Sewell Setzer III pone el foco sobre la necesidad de regulación y supervisión de la inteligencia artificial en plataformas accesibles al público y, especialmente, a menores. Mientras los chatbots se vuelven cada vez más avanzados y capaces de interactuar como un humano, las implicaciones éticas y legales se vuelven más complejas y empiezan a ir un paso por delante de las soluciones.