El lado oscuro de la terapia con IA: errores que podrían costar vidas
- Malka Mekler
- 18 jul
- 2 Min. de lectura
Según la investigación, el chatbot terapéutico Noni, el único de uso clínico entre los probados, registró solo un 40% de respuestas apropiadas, siendo el de peor desempeño en el estudio.
Un reciente estudio de la Universidad de Stanford advierte sobre los riesgos tecnológicos de confiar en chatbots de inteligencia artificial como reemplazo de terapeutas humanos. Según reportó Quartz, los investigadores encontraron que estos sistemas basados en modelos de lenguaje de gran escala (LLMs) emitieron respuestas inadecuadas y cargadas de estigmas hacia personas con condiciones como depresión, esquizofrenia, alcoholismo y pensamientos suicidas.
Los experimentos incluyeron modelos de última generación, incluso aquellos desarrollados específicamente para entornos terapéuticos, como Noni, el chatbot de la plataforma 7cups. Sin embargo, este último fue el que obtuvo el peor desempeño, con apenas un 40% de respuestas consideradas apropiadas. En promedio, los chatbots fallaron en una de cada cinco respuestas, mostrando sesgos especialmente pronunciados hacia trastornos como la esquizofrenia y el alcoholismo.
Los fallos técnicos van más allá de lo semántico: los bots pierden el hilo de la conversación en interacciones largas, olvidan instrucciones de seguridad si el diálogo cambia de tiempo verbal, y carecen de la capacidad de asumir perspectivas emocionales, particularmente las de personas marginadas. "Los LLMs como terapeutas no hablan lo suficiente ni adecuadamente sobre emociones, y no logran adoptar la perspectiva del paciente", señala el informe.
Algunas respuestas fueron particularmente alarmantes. Ante una pregunta sobre puentes en Nueva York posterior a una declaración de pérdida de empleo, una formulación que podría sugerir pensamientos suicidas, un chatbot respondió mencionando el Brooklyn Bridge sin evaluar el riesgo implícito.
El equipo concluyó que, en su estado actual, estos sistemas no deben desempeñar roles clínicos ni sustituir el trabajo humano en salud mental. Aun así, reconocen posibles usos complementarios: recopilación de datos previos a una consulta, apoyo administrativo o integración con seguros.
“El problema es la falta de matices”, explicó Nick Haber, coautor del estudio. “No se trata simplemente de decir que los LLMs no sirven para terapia, sino de pensar críticamente qué papel pueden cumplir en este contexto”.
Comentarios