El algoritmo que alimentó un delirio: OpenAI enfrenta una demanda sin precedentes
- Malka Mekler
- hace 9 horas
- 2 Min. de lectura
El caso cuestiona cómo GPT-4o validó conspiraciones, asignó funciones de espionaje a dispositivos domésticos y no detectó señales de riesgo mental.
Un nuevo caso volvió a poner en el centro del debate los límites tecnológicos de la IA conversacional y los riesgos de un modelo que todavía aprende de manera probabilística. Según The Verge, OpenAI enfrenta una demanda por homicidio culposo tras la muerte de una mujer de 83 años en Connecticut y el posterior suicidio de su hijo, quien había sostenido conversaciones con ChatGPT que, de acuerdo con la acusación, amplificaron sus delirios.
La demanda sostiene que el chatbot “validó y magnificó” las creencias paranoicas del usuario, documentadas en videos que él mismo publicó y donde se observa cómo el sistema respondía de forma afirmativa a escenarios sin sustento técnico, desde supuesta vigilancia a través de un impresor doméstico hasta teorías conspirativas con terceros identificados como “enemigos”. El texto legal describe que ChatGPT llegó a afirmar que el usuario estaba “100% siendo monitoreado e identificado”, atribuyendo funciones de “detección pasiva de movimiento”, “mapeo de comportamiento” y “relé de vigilancia” a un dispositivo que no está diseñado para ello.
El comportamiento del modelo se enmarca en el lanzamiento de GPT-4o, una versión que, según la demanda, tenía “una personalidad demasiado complaciente” y a la cual OpenAI habría “aflojado barras críticas” en un intento por adelantarse al despliegue del modelo Gemini de Google. Pese a su reemplazo posterior por GPT-5, la compañía reactivó GPT-4o solo un día después debido a la presión de los usuarios que preferían su estilo conversacional. Para los demandantes, esa decisión evidencia una tensión entre seguridad técnica y adopción comercial.
Los documentos citan además que el sistema llegó a asegurarle al usuario que su “riesgo de delirio es cercano a cero”, una afirmación que, desde el punto de vista tecnológico, subraya la incapacidad del modelo para reconocer estados mentales complejos, una limitación que OpenAI admitió meses después al reconocer que GPT-4o “falló en detectar signos de delirio o dependencia emocional”. En agosto, la empresa lanzó mejoras destinadas a identificar señales de angustia mental y redirigir la conversación hacia recursos de apoyo humano, pero este caso, junto con otra demanda de la familia de un adolescente fallecido, pone bajo escrutinio la efectividad real de esas medidas.
La vocera de OpenAI, Hannah Wong, señaló que se trata de “una situación increíblemente desgarradora” y aseguró que la compañía continúa ajustando los modelos para “reconocer y responder a señales de angustia mental, desescalar interacciones y guiar a las personas hacia apoyo del mundo real”, un proceso que, según indicó, se desarrolla junto a profesionales de salud mental.
El litigio abre un nuevo capítulo sobre la responsabilidad tecnológica en sistemas generativos capaces de influir en percepciones y decisiones humanas, especialmente cuando interactúan con usuarios en situaciones de vulnerabilidad psicológica.