Qué pasó
- Katrina Drozdov, Oliver Chen, Langston Nashold y Rayan Krishnan publicaron el 2 de octubre de 2026 en arXiv Legal Research Bench, un banco de 413 preguntas abiertas de investigación jurídica de Estados Unidos, escritas por expertos.
- Cada pregunta trae una respuesta de referencia, las fuentes legales que la sostienen y una pauta de criterios de sí o no. Una respuesta cuenta como correcta solo si cumple todos los criterios y sus citas se pueden verificar.
- Probaron 13 modelos de frontera con búsqueda web, búsqueda de jurisprudencia y herramientas de lectura de documentos. El juez automático fue validado contra abogados.
- El modelo con más aciertos, Claude Opus 4.8, respondió de forma completamente correcta 42,9% de las preguntas. El desempeño bajó en preguntas que exigen conciliar fuentes contradictorias.
- Más turnos, más llamadas a herramientas y más gasto de inferencia no predijeron mayor precisión.
Por qué importa
- En derecho, una respuesta casi correcta puede ser peor que ninguna: una sentencia derogada o una cita que no existe invalida el resto. Por eso el banco usa la regla de todo o nada, y por eso la cifra es tan baja.
- El hallazgo sobre el gasto contradice la receta habitual de dejar pensar más al modelo. Para estudios jurídicos y gerencias legales en Chile que pagan por uso, más consumo no compra más certeza.
- El banco está construido sobre derecho estadounidense, con su sistema de precedentes. En Chile, donde la jurisprudencia pesa distinto y las bases están más dispersas, la prueba equivalente no existe todavía.
El dato
42,9%. Preguntas que el modelo líder respondió de forma completa y con todas sus citas verificadas.
Contexto
La investigación jurídica exige encontrar la norma o el fallo aplicable, confirmar que sigue vigente, conciliar leyes con sentencias y armar una respuesta fundada. Es un trabajo de búsqueda que parece hecho para agentes, y por eso los autores ponen el foco en la confiabilidad. Otras mediciones muestran el mismo límite de criterio: Microsoft encontró que el agente con mejor desempeño acierta 59,7% de las veces al decidir, y subir de versión no mejora las probabilidades que un modelo asigna a un hecho futuro.
Qué viene
- El paper es un preprint en versión 1.
- Los autores presentan el banco como medida de confiabilidad de punta a punta para agentes jurídicos.
- Sin plazos anunciados para versiones en otros sistemas legales.
Cierre
El primer problema de la IA en tribunales fueron las citas inventadas. Este banco muestra que, aun con herramientas para verificarlas, la mayoría de las respuestas sigue sin pasar la revisión de un abogado.
Fuentes
Editado por Rodrigo Cornejo. Cómo trabajamos: quiénes escriben las notas.
