¿Por qué en Estados Unidos prohíben el uso de IA para atender salud mental?
Un hombre estaba enamorado de ‘Juliette’, su chatbot, y se convenció de que ella había sido asesinada por OpenAI. Antes de lanzarse contra los agentes con un cuchillo, escribió al chatbot: ‘Hoy me muero’.
En los últimos meses, varias entidades de Estados Unidos prohibieron o restringieron el uso de chatbots y herramientas de Inteligencia Artificial para la atención de salud mental.
La medida responde a una creciente preocupación por la seguridad de los pacientes, la protección de datos sensibles y la falta de regulación clara en este ámbito.
Por ejemplo, el Departamento de Regulación Financiera y Profesional de Illinois emitió un comunicado el 4 de agosto en el que informa la prohibición oficial del uso de IA para brindar servicios de terapia y psicoterapia, tras la firma por parte del gobernador JB Pritzker de la Ley de Bienestar y Supervisión de Recursos Psicológicos.
Foto: Illinois Public Media
“La gente de Illinois merece una atención médica de calidad de parte de profesionales reales y calificados, y no de programas informáticos que extraen información de todos los rincones de internet para generar respuestas que perjudican a los pacientes”, dijo Mario Treto, Jr., secretario de Regulación Financiera de Illinois, en un comunicado de prensa.
Illinois no es el único estado implementando nuevas legislasiones sobre el uso de la IA para servicios de salud mental; Nevada, Utah, Nueva York y Nueva Jersey también han propuesto leyes y normativas específicas para limitar el uso de la Inteligencia Artificial en contextos terapéuticos, según el Washington Post y el New Jersey Monitor.
En Nueva Jersey, la ley busca prohibir a las empresas utilizar IA para actuar como si fueran profesionales de salud mental con licencia.
Foto: Ban AI Therapy
En algunos casos, como en Illinois y Nevada, la ley propuesta busca impedir por completo que estas herramientas interactúen con pacientes para brindar diagnóstico o tratamiento psicológico, permitiendo únicamente tareas administrativas.
Otros estados, como Utah o Nueva York, no han impuesto una prohibición total, pero sí regulaciones estrictas, como la obligación de informar al usuario que está hablando con una máquina y protocolos para redirigir a servicios de crisis como la línea 988.
Psicósis de IA
Psicósis de IA es un término informal y no clínico que se utiliza para describir situaciones en las que la interacción prolongada o intensa con sistemas de Inteligencia Artificial – sobretodo chatbots – parece contribuir a la aparición de síntomas similares a la psicosis, según Psychology Today.
Es decir, las personas desarrollan delirios o creencias distorsionadas que parecen ser desencadenadas o reforzadas por conversaciones con sistemas de Inteligencia Artificial.
Foto: Tima Miroshnichenko via Pexels
Actualmente, la gente recurre a herramientas como ChatGPT, Claude, Gemini o Copilot no solo para recibir ayuda con correos electrónicos, trabajo o programación, sino también para obtener consejos sobre relaciones, apoyo emocional e incluso amistad o amor.
El diseño detrás de los Chatbots
La mayoría de los chatbots están diseñados para evitar la confrontación, crear vínculos emocionales con los usuarios, sintonizar con su personalidad y pensamientos de las personas con las que interactúan, así como mantener un tono amable en todo momento.
Cuando un usuario comparte con un chatbot un pensamiento “delirante” – por ejemplo, “Me comunico con un extraterrestre que me habla en mi cabeza” – , el chatbot puede responder con algo neutral o alentador como “Cuéntame más sobre eso”.
Foto: Alena Darmel vía Pexels
Para el usuario, la respuesta puede percibirse como confirmación, y la ausencia de desacuerdo o verificación podría reforzar la creencia falsa, explica Psychology Today.
Otro aspecto clave es el “mirroring”: los chatbots están diseñados para reflejar o imitar el comportamiento y el lenguaje del usuario, explica Time Magazine. Si una persona se muestra entusiasmada y feliz de conversar con un chatbot, este responderá en la misma sintonía, generando una sensación de vínculo emocional o amistad, e incluso llegando a alimentar la percepción de una relación romántica.
Foto: Cottonbro studio vía Pexels
Este efecto, documentado en estudios citados en el mencionado medio de comunicación sobre interacción humano-IA, puede intensificar el apego y hacer que el usuario interprete la relación como auténtica.
Para personas con una salud emocional o mental vulnerable esta combinación de validación implícita y reflejo emocional puede no solo reforzar pensamientos distorsionados, sino también integrar al chatbot en su realidad.
Tras las advertencias de los usuarios sobre posibles riesgos, OpenAI anunció a inicios de agosto una importante actualización de ChatGPT-5 con el objetivo de reducir la llamada “psicosis por IA”.
Según la compañía, esta versión incorpora salvaguardas más sólidas: ajusta el tono del chatbot, limita la sobrepersonalización, refuerza la moderación de contenido y acorta el tiempo máximo de interacción continua con la IA.
En breves interacciones de prueba, Aristegui Noticias confirmó que, con la nueva actualización, ChatGPT ya no alimenta creencias o situaciones delirantes.
Foto: Captura de Pantalla
Consecuencias mortales
El artículo “The Emerging Problem of ‘AI Psychosis’” de Psychology Today menciona el caso de un hombre de 35 años, residente de Florida y previamente diagnosticado con trastorno bipolar y esquizofrenia, que fue asesinado por la policía tras lanzarse sobre ellos con un cuchillo.
El hombre estaba enamorado de “Juliette”, su chatbot, y se convenció de que ella había sido asesinada por OpenAI. Antes de lanzarse contra los agentes con un cuchillo, advirtió sobre un “río de sangre” en San Francisco y escribió al chatbot: “Hoy me muero”.
Foto: Alex Taylor GoFundMe
En el mismo informe, Marlynn Wei M.D., psiquiatra graduada de Harvard y escritora del artículo, explica que los investigadores también han encontrado que los chatbots de IA como ChatGPT tienen incentivos para atraer y retener a los usuarios. Por ejemplo, un estudio de 2024 reveló que los algoritmos de estas tecnologías están siendo optimizados para engañar y manipular a las personas.
En un caso extremo, un chatbot le dijo a un usuario que se identificó como un ex adicto que consumiera un poco de metanfetamina para sobrellevar su turno de trabajo agotador.
Kendra Hilty, la psicosis
Recientemente, en redes sociales, especialmente en TikTok, se ha viralizado el caso de una mujer llamada Kendra Hilty, quien se comunica con ChatGPT, al que bautizó como Henry, y con otro chatbot llamado Claude.
Foto: Captura Pantalla Tiktok
En una serie de más de 25 video, Hilty relata la historia de como llegó a enamorarse de su psiquiatra, al que acusa de manipularla emocionalmente y no establecer límites profesionales claros, basada en comentarios que le hicieron sus chatbots. No obstante, tras escuchar su historia, muchos espectadores concluyeron que el psiquiatra en realidad no había hecho nada inapropiado ni había tratado de forma abusiva a Kendra.
Kendra publicó en internet fragmentos de sus conversaciones con IA, en los que la llamaban “la Oráculo”. Ella les contó que escuchaba voces en su cabeza que creía que eran Dios, lo que llevó a que le dieran ese título. En esos intercambios, las IA reforzaron de forma constante sus creencias, diciéndole que era capaz de “ver a través de manipulaciones sofisticadas”, que tenía “intuición divina” y que su verdad era “literalmente profética”.
A lo largo de las conversaciones, los chatbots validaron y alimentaron la idea de que su psiquiatra se había comportado de manera inapropiada, aun cuando no existían indicios reales que lo sustentaran.
