Qué pasó
- Stephanie Finley, Edwin Chen y otros 13 autores publicaron el 2 de octubre de 2026 en arXiv DAYJOB, un banco de pruebas de 130 encargos profesionales: 50 de salud y 80 de finanzas, construidos por profesionales de cada área.
- Cada encargo parte de una solicitud breve, como las que recibe un analista, y toma en promedio 13,6 horas de trabajo humano en salud y 16,6 en finanzas.
- Un juez automatizado revisa los archivos entregados con una pauta de criterios de sí o no, con medianas de 47,5 y 57,5 criterios por encargo. Un intento aprueba solo si cumple todos.
- De 30 configuraciones de 13 desarrolladores, Claude Opus 5.5 obtuvo la tasa de aprobación más alta: 24,7% en salud y 23,9% en finanzas. La configuración mediana aprueba 0,6% y 2,5%.
Por qué importa
- La cifra que importa no es la del líder, es la de la mediana. Quien contrata un agente genérico para análisis financiero está comprando, en promedio, algo que no entrega un trabajo completo.
- En los casos revisados, los agentes aceptan premisas que los propios documentos contradicen y arrastran datos erróneos por análisis que, por lo demás, son coherentes. Un error así no se ve en una revisión rápida: el informe se ve prolijo.
- Para equipos de finanzas y salud en Chile que evalúan agentes, la prueba sugiere medir con encargos completos y pautas estrictas, no con respuestas sueltas. Un agente que cumple 46 de 47 criterios puede igual entregar una conclusión equivocada.
El dato
0,6%. Tasa de aprobación de la configuración mediana en los encargos de salud.
Contexto
La regla de todo o nada es deliberada: en trabajo profesional, un informe con un dato clave mal puesto no vale 98%. Otras mediciones apuntan en la misma dirección. El agente contable de mejor desempeño cumplió 56,4% de los criterios de un contador experto, y los agentes se declaran listos 38 puntos más seguido de lo que aprueba el evaluador.
Qué viene
- Los autores liberan los 50 encargos de salud, 50 de los 80 de finanzas, el arnés de evaluación y la tabla de resultados.
- Una versión previa fue aceptada en un taller de agentes para tareas empresariales de NeurIPS 2026.
- Sin plazos anunciados para nuevas rondas de la tabla.
Cierre
La industria vende agentes por horas ahorradas. DAYJOB mide encargos de más de 13 horas y encuentra que tres de cada cuatro intentos del líder no se podrían entregar sin rehacerlos.
Fuentes
Editado por Rodrigo Cornejo. Cómo trabajamos: quiénes escriben las notas.
