Un reconocido bufete de abogados de Wall Street tuvo que disculparse tras presentar ante un tribunal federal un documento con errores generados por inteligencia artificial, incluidas citas falsas de casos judiciales.

El episodio, revelado por The New York Times, pone en tela de juicio el uso de estas herramientas en el sistema legal estadounidense.

El incidente involucró a Sullivan & Cromwell, una de las firmas más antiguas y prestigiosas de Estados Unidos, que tuvo que disculparse formalmente ante el juez Martin Glenn del Tribunal de Quiebras de Estados Unidos en Manhattan.

Información inventada por la IA

Las inconsistencias fueron detectadas por abogados de la contraparte, quienes identificaron lo que luego se confirmó como “alucinaciones” de IA, es decir, información inventada por sistemas automatizados.

En una carta enviada el 18 de abril, Andrew Dietderich, socio del bufete, reconoció la gravedad de lo ocurrido. “Lamentamos profundamente que esto haya ocurrido”, escribió.

El documento en cuestión contenía cerca de tres docenas de errores, varios de ellos relacionados con la cita de pasajes aparentemente inexistentes en fallos judiciales reales.

El caso vuelve a poner en el centro del debate el uso de inteligencia artificial en el ámbito legal, donde estas herramientas se han vuelto atractivas para manejar grandes volúmenes de información.

Sin embargo, su capacidad de generar contenido erróneo pero que parece creíble ha generado preocupación en el gremio.

Los protocolos “no se siguieron”

La Asociación de Abogados de Estados Unidos ha advertido sobre la necesidad de extremar precauciones al utilizar modelos de IA en procesos legales.

En este caso, el propio Dietderich admitió que no se siguieron los protocolos internos de la firma para el uso de estas herramientas.

“Las políticas de la firma que rigen el uso de la IA ‘no se siguieron’”, señaló en la carta, donde también recordó una de las recomendaciones clave: “no confiar en nada y verificarlo todo”.

Este error ocurrió en el contexto de un caso vinculado a Prince Group, un conglomerado camboyano cuyo fundador, Chen Zhi, ha sido acusado de operar una red de estafa a nivel global.

Sullivan & Cromwell representa a un grupo designado para supervisar activos relacionados con la compañía, que se declaró en bancarrota en Manhattan el 8 de abril.

Tras detectar las fallas, la firma aseguró haber revisado todos los documentos del caso y afirmó que las alucinaciones se limitaron a una única presentación judicial.