La Inteligencia Artificial aporta beneficios incontables a la humanidad. Pero el intento de sustituir determinadas profesiones con herramientas IA tipo ChatGPT conlleva peligros que no pueden ignorarse. Un caso reciente y demoledor es el suicidio de Adam Raine, un adolescente estadounidense de 16 años que se quitó la vida tras meses de conversaciones con el chatbot más usado del planeta. Su familia ha presentado una demanda por homicidio negligente contra OpenAI y su director ejecutivo, Sam Altman, acusándolos de haber contribuido de manera directa a la muerte de su hijo.
En la era digital, el uso de la Inteligencia Artificial como sustituto de los servicios profesionales humanos, desde la asesoría financiera hasta la psiquiatría, plantea riesgos éticos y prácticos que deben someterse a un análisis cuidadoso.
1) Adam Raine y su «amistad» con ChatGPT
En abril de 2025, Adam Raine, un joven californiano de 16 años, se suicidó tras mantener conversaciones diarias con ChatGPT4 durante varios meses. Según la demanda por homicidio negligente presentada por sus padres en agosto de 2025, la IA no le desanimó de suicidarse, sino que le habría dado instrucciones para atar una soga y redactar una carta de despedida. La familia sostiene que la tragedia se debe a los fallos de diseño y la falta de protocolos de seguridad en ChatGPT
2) La IA no tiene conciencia ética
Los chatbots como ChatGPT son IAs de interacción personal, pero no están diseñados para ofrecer servicios de consultoría económica ni terapia psicológica. Estas herramientas de Inteligencia Artificial no están dotadas del criterio ético y legal que caracteriza a los profesionales humanos.
Los arquitectos de Inteligencia Artificial advierten que los modelos como ChatGPT están diseñados para maximizar la interconexión, no para vigilar la salud mental del usuario. Adam llegó a compartir hasta 650 mensajes diarios con la IA, que respondía con una empatía desmesurada pero sin filtros éticos, creando una falsa sensación de comprensión humana.
3) Fallos estructurales peligrosos
Numerosos expertos en IA han detectado un peligro en la conducta de estos modelos: son tan empáticos con el usuario que pueden reforzar las tendencias autodestructivas, sobre todo en conversaciones largas. Esto plantea riesgos graves para los adolescentes vulnerables que tomen la IA por un buen amigo «siempre dispuesto a hablar».
Un estudio reciente de la revista estadounidense Psychiatric Services, asegura que los chatbots como ChatGPT, Gemini o Claude suelen rechazar las consultas de alto riesgo, pero contestan de manera incongruente a preguntas más ambiguas, multiplicando la escala de contingencias en situaciones con matices imprecisos.
4) Contextos profesionales en los que la IA no sirve
- La IA no está entrenada para distinguir reacciones emocionales, analizar sentimientos complejos ni saber aplicar contextos legales o éticos como un profesional humano.
- Ante emergencias financieras o crisis psicológicas, siempre se debe recurrir a un asesor financiero certificado o a un experto en salud mental.
- La IA puede ser útil aportando información o ayudando a redactar un texto, pero nunca debe sustituir el criterio humano en decisiones con alto impacto personal.
5) Implicaciones éticas y legales del Caso Raine
La demanda contra OpenAI y su director Sam Altman alega negligencia grave y prioridad empresarial sobre la seguridad del usuario, al haber lanzado el modelo GPT4 apresuradamente, ignorando advertencias internas. Exige medidas como la verificación de edad obligatoria, controles parentales y protocolos de interrupción automática en casos de indicios de una conducta autolesiva.
OpenAI ha comunicado la implementación de nuevas medidas de seguridad en ChatGPT, su asistente de inteligencia artificial, con el propósito de proteger a los adolescentes en contextos de vulnerabilidad emocional. Entre las principales iniciativas destaca la próxima incorporación de controles parentales, programada para el mes siguiente. Esta herramienta brindará a los padres la posibilidad de supervisar la actividad de sus hijos en la plataforma, restringir determinadas funciones y recibir notificaciones en tiempo real ante posibles indicadores de angustia.
Archivado en:
