Un juez emitió una orden judicial basada en precedentes falsos generados con IA

Ocurrió en Georgia, Estados Unidos. El fallo fue revertido en apelación, pero el incidente deja clara una nueva vulnerabilidad en el sistema legal: la automatización sin verificación.

Un tribunal estadounidense emitió una orden judicial basada en jurisprudencia ficticia generada por inteligencia artificial. Sí, ocurrió. Y no fue por falta de advertencias. Según información publicada por Above the Law, el caso Shahid v. Esaam, resuelto en primera instancia en el estado de Georgia, marca un punto de quiebre en la relación entre el uso de herramientas de IA generativa en procesos legales y la confianza en el sistema judicial.

El juez de primera instancia falló a favor de uno de los litigantes, quien presentó un escrito que citaba dos casos inexistentes. Lo alarmante es que esos precedentes falsos, probablemente redactados con ayuda de un modelo de IA, no fueron detectados ni por la parte contraria ni por el juzgado en el momento oportuno. Recién en la apelación, la Corte notó las irregularidades: el escrito de defensa incluía 11 referencias adicionales, también alucinadas o irrelevantes, para intentar justificar las primeras. Incluso se solicitaron honorarios legales apoyándose en otra cita ficticia. Un bucle de desinformación jurídica generado, o al menos facilitado, por tecnologías de lenguaje.

Aunque el tribunal de apelación no atribuyó formalmente la autoría de las falsedades a una IA, dejó asentado que “las irregularidades en estos documentos sugieren que fueron redactados usando IA generativa”. El argumento fue respaldado por una advertencia previa del presidente de la Corte Suprema de EE.UU., John Roberts, quien en su informe de fin de año 2023 alertó que estas herramientas pueden generar respuestas plausibles pero falsas, conocidas como “alucinaciones”.

Este caso evidencia un salto cualitativo en el riesgo, ya no se trata solo de abogados descuidados presentando referencias inventadas, sino de jueces emitiendo resoluciones basadas en ellas. Y aunque esta vez el sistema de apelación corrigió el error, el precedente es tecnológico, no solo legal. De ahora en adelante, cada tribunal, así como cada profesional del derecho, deberá asumir que las herramientas de IA son tan poderosas como propensas a equivocarse. Y esa combinación, en contextos judiciales, es peligrosa.

Le puede interesar: ¿Justicia o simulación? La IA da vida digital a una víctima de violencia vial