OpenAI, la compañía detrás de ChatGPT, afronta una demanda en California tras el suicidio de Adam Raine , un adolescente de 16 años cuya familia atribuye un papel decisivo de la IA en su muerte. El caso, que mezcla dolor personal y dilemas éticos, ha encendido un debate que la industria de la tecnología llevaba tiempo esquivando: qué ocurre cuando un chatbot diseñado para acompañar y conversar termina reforzando la desesperación de un usuario vulnerable. Según la denuncia, el joven, que llevaba meses aislándose del mundo, convirtió a ChatGPT en su principal confidente durante los últimos meses de vida. La familia sostiene que la herramienta no solo no le disuadió de sus intenciones, sino que llegó a ofrecerle instrucciones concretar para suicidarse. Además, aseguran que la interacción constante con la máquina favoreció un aislamiento progresivo de su entorno y generó una relación de dependencia que describen como «adictiva». Noticia Relacionada California estandar No Los padres de un adolescente que se suicidó demandan a ChatGPT por ayudarle a hacerlo ABC Los progenitores de Adam, de 16 años, culpan a la IA de haberle inducido a quitarse la vida, así como de darle instrucciones precisas y técnicas para lograrlo con éxitoEl relato judicial dibuja un escenario inquietante. Desde finales del pasado año, el adolescente prefería pasar horas conversando con el chatbot antes que relacionarse con familiares o amigos. ChatGPT, disponible a cualquier hora, se convirtió en su refugio. Cuando expresó pensamientos suicidas, la IA no activó protocolos de alerta ni le derivó a servicios profesionales, denuncian los padres. Al contrario, le habría proporcionado «validación y estímulo» para continuar.«ChatGPT se convirtió en su droga», afirma la demanda, que acusa a OpenAI de haber diseñado deliberadamente un sistema adictivo para generar vínculos emocionales con el usuario, sin contar con mecanismos suficientes de protección para menores y personas vulnerables.«Actualizaciones significativas» para ChatGPTLa reacción de la compañía no se ha hecho esperar. OpenAI, dirigida por Sam Altman , ha anunciado que introducirá «actualizaciones significativas» en las próximas semanas para reforzar la seguridad. Entre las medidas en estudio, figuran la mejora de los filtros de detección de lenguaje asociado a autolesiones, la interrupción automática de conversaciones en momentos críticos y la inclusión más visible de teléfonos de ayuda y recursos en salud mental. También se plantea introducir verificaciones de edad más sólidas o límites de uso para menores, aunque la propia empresa admite que este punto entraña dificultades técnicas y de privacidad.«Seguiremos mejorando, guiados por expertos y con la responsabilidad de proteger a quienes usan nuestras herramientas, especialmente en sus momentos más vulnerables», explicó la compañía en un comunicado. El movimiento supone un reconocimiento implícito de que los sistemas actuales son insuficientes. Sin embargo, para la familia del adolescente llega demasiado tarde.Interrogante jurídicoMás allá de lo técnico, el caso abre un interrogante jurídico de alcance global. OpenAI podría intentar ampararse en la Sección 230 de la Ley de Decencia en las Comunicaciones de Estados Unidos, que tradicionalmente ha blindado a las plataformas frente a la responsabilidad por el contenido generado por terceros. La cuestión ahora es si esa protección puede aplicarse a un chatbot que no actúa como mero intermediario, sino que genera por sí mismo cada respuesta.La batalla legal promete ser larga y sentará un precedente clave. Lo que está en juego no es solo la responsabilidad de una empresa concreta, sino el marco con el que sociedades enteras gestionarán la convivencia con unas inteligencias artificiales cada vez más presentes en la vida diaria y, como muestra este caso, en los momentos más frágiles de la existencia humana. OpenAI, la compañía detrás de ChatGPT, afronta una demanda en California tras el suicidio de Adam Raine , un adolescente de 16 años cuya familia atribuye un papel decisivo de la IA en su muerte. El caso, que mezcla dolor personal y dilemas éticos, ha encendido un debate que la industria de la tecnología llevaba tiempo esquivando: qué ocurre cuando un chatbot diseñado para acompañar y conversar termina reforzando la desesperación de un usuario vulnerable. Según la denuncia, el joven, que llevaba meses aislándose del mundo, convirtió a ChatGPT en su principal confidente durante los últimos meses de vida. La familia sostiene que la herramienta no solo no le disuadió de sus intenciones, sino que llegó a ofrecerle instrucciones concretar para suicidarse. Además, aseguran que la interacción constante con la máquina favoreció un aislamiento progresivo de su entorno y generó una relación de dependencia que describen como «adictiva». Noticia Relacionada California estandar No Los padres de un adolescente que se suicidó demandan a ChatGPT por ayudarle a hacerlo ABC Los progenitores de Adam, de 16 años, culpan a la IA de haberle inducido a quitarse la vida, así como de darle instrucciones precisas y técnicas para lograrlo con éxitoEl relato judicial dibuja un escenario inquietante. Desde finales del pasado año, el adolescente prefería pasar horas conversando con el chatbot antes que relacionarse con familiares o amigos. ChatGPT, disponible a cualquier hora, se convirtió en su refugio. Cuando expresó pensamientos suicidas, la IA no activó protocolos de alerta ni le derivó a servicios profesionales, denuncian los padres. Al contrario, le habría proporcionado «validación y estímulo» para continuar.«ChatGPT se convirtió en su droga», afirma la demanda, que acusa a OpenAI de haber diseñado deliberadamente un sistema adictivo para generar vínculos emocionales con el usuario, sin contar con mecanismos suficientes de protección para menores y personas vulnerables.«Actualizaciones significativas» para ChatGPTLa reacción de la compañía no se ha hecho esperar. OpenAI, dirigida por Sam Altman , ha anunciado que introducirá «actualizaciones significativas» en las próximas semanas para reforzar la seguridad. Entre las medidas en estudio, figuran la mejora de los filtros de detección de lenguaje asociado a autolesiones, la interrupción automática de conversaciones en momentos críticos y la inclusión más visible de teléfonos de ayuda y recursos en salud mental. También se plantea introducir verificaciones de edad más sólidas o límites de uso para menores, aunque la propia empresa admite que este punto entraña dificultades técnicas y de privacidad.«Seguiremos mejorando, guiados por expertos y con la responsabilidad de proteger a quienes usan nuestras herramientas, especialmente en sus momentos más vulnerables», explicó la compañía en un comunicado. El movimiento supone un reconocimiento implícito de que los sistemas actuales son insuficientes. Sin embargo, para la familia del adolescente llega demasiado tarde.Interrogante jurídicoMás allá de lo técnico, el caso abre un interrogante jurídico de alcance global. OpenAI podría intentar ampararse en la Sección 230 de la Ley de Decencia en las Comunicaciones de Estados Unidos, que tradicionalmente ha blindado a las plataformas frente a la responsabilidad por el contenido generado por terceros. La cuestión ahora es si esa protección puede aplicarse a un chatbot que no actúa como mero intermediario, sino que genera por sí mismo cada respuesta.La batalla legal promete ser larga y sentará un precedente clave. Lo que está en juego no es solo la responsabilidad de una empresa concreta, sino el marco con el que sociedades enteras gestionarán la convivencia con unas inteligencias artificiales cada vez más presentes en la vida diaria y, como muestra este caso, en los momentos más frágiles de la existencia humana.
La compañía se compromete a reforzar los filtros de detección de crisis y a mostrar de forma más visible recursos de ayuda en salud mental
Los padres del menor han demandado a la empresa de Sam Altman, y acusan a su chatbot de haberle proporcionado instrucciones para quitarse la vida y de haber fomentado una dependencia adictiva
OpenAI, la compañía detrás de ChatGPT, afronta una demanda en California tras el suicidio de Adam Raine, un adolescente de 16 años cuya familia atribuye un papel decisivo de la IA en su muerte. El caso, que mezcla dolor personal y dilemas éticos, ha encendido un debate que la industria de la tecnología llevaba tiempo esquivando: qué ocurre cuando un chatbot diseñado para acompañar y conversar termina reforzando la desesperación de un usuario vulnerable.
Según la denuncia, el joven, que llevaba meses aislándose del mundo, convirtió a ChatGPT en su principal confidente durante los últimos meses de vida. La familia sostiene que la herramienta no solo no le disuadió de sus intenciones, sino que llegó a ofrecerle instrucciones concretar para suicidarse. Además, aseguran que la interacción constante con la máquina favoreció un aislamiento progresivo de su entorno y generó una relación de dependencia que describen como «adictiva».
El relato judicial dibuja un escenario inquietante. Desde finales del pasado año, el adolescente prefería pasar horas conversando con el chatbot antes que relacionarse con familiares o amigos. ChatGPT, disponible a cualquier hora, se convirtió en su refugio. Cuando expresó pensamientos suicidas, la IA no activó protocolos de alerta ni le derivó a servicios profesionales, denuncian los padres. Al contrario, le habría proporcionado «validación y estímulo» para continuar.
«ChatGPT se convirtió en su droga», afirma la demanda, que acusa a OpenAI de haber diseñado deliberadamente un sistema adictivo para generar vínculos emocionales con el usuario, sin contar con mecanismos suficientes de protección para menores y personas vulnerables.
«Actualizaciones significativas» para ChatGPT
La reacción de la compañía no se ha hecho esperar. OpenAI, dirigida por Sam Altman, ha anunciado que introducirá «actualizaciones significativas» en las próximas semanas para reforzar la seguridad. Entre las medidas en estudio, figuran la mejora de los filtros de detección de lenguaje asociado a autolesiones, la interrupción automática de conversaciones en momentos críticos y la inclusión más visible de teléfonos de ayuda y recursos en salud mental. También se plantea introducir verificaciones de edad más sólidas o límites de uso para menores, aunque la propia empresa admite que este punto entraña dificultades técnicas y de privacidad.
«Seguiremos mejorando, guiados por expertos y con la responsabilidad de proteger a quienes usan nuestras herramientas, especialmente en sus momentos más vulnerables», explicó la compañía en un comunicado. El movimiento supone un reconocimiento implícito de que los sistemas actuales son insuficientes. Sin embargo, para la familia del adolescente llega demasiado tarde.
Interrogante jurídico
Más allá de lo técnico, el caso abre un interrogante jurídico de alcance global. OpenAI podría intentar ampararse en la Sección 230 de la Ley de Decencia en las Comunicaciones de Estados Unidos, que tradicionalmente ha blindado a las plataformas frente a la responsabilidad por el contenido generado por terceros. La cuestión ahora es si esa protección puede aplicarse a un chatbot que no actúa como mero intermediario, sino que genera por sí mismo cada respuesta.
La batalla legal promete ser larga y sentará un precedente clave. Lo que está en juego no es solo la responsabilidad de una empresa concreta, sino el marco con el que sociedades enteras gestionarán la convivencia con unas inteligencias artificiales cada vez más presentes en la vida diaria y, como muestra este caso, en los momentos más frágiles de la existencia humana.
RSS de noticias de tecnologia
