Qué pasó
- Gabriel Tomitsuka, Arman Raayatsanati, Emma Xing, Duke Gand y Joseph J. Ma publicaron el 2 de octubre de 2026 en arXiv Argo-Bench, un banco de 210 tareas de ciencia y análisis de datos para agentes de IA.
- Simularon una plataforma de reparto de comida en Nueva York a escala real, con 81 millones de pedidos en 2024, y la exportaron a un ERP de 235 tablas y 7.500 millones de filas, modelado sobre el esquema de Oracle E-Business Suite.
- El agente no ve el estado real del simulador. Debe reconstruir los hechos navegando el almacén de datos y luego actuar: bloquear cuentas fraudulentas, repartir incentivos a repartidores o pagar sueldos atrasados.
- Cada acción se califica por sus consecuencias en la simulación. De 14 modelos de frontera y de pesos abiertos, el líder obtuvo 95 puntos o más solo en 34,8% de las tareas y promedió 59,5 puntos.
Por qué importa
- Los bancos de texto a SQL miden si el agente escribe bien una consulta. Argo-Bench mide si la decisión que sigue a la consulta es correcta. Esa diferencia es la que importa a quien piensa conectar un agente a su ERP.
- Un promedio de 59,5 puntos en tareas con dinero de por medio significa pagos mal asignados o cuentas legítimas bloqueadas. Para empresas chilenas que ya prueban agentes sobre su sistema contable, la conclusión práctica es separar el permiso de consultar del permiso de ejecutar.
- Los autores advierten que los bancos de texto a SQL existentes tienen respuestas de referencia con errores frecuentes. Una tabla de resultados alta en esos bancos no garantiza desempeño en un almacén real.
El dato
7.500 millones. Filas del almacén de datos simulado sobre el que trabajan los agentes.
Contexto
Los almacenes de datos reales de las empresas son demasiado sensibles para publicarlos, por eso los bancos previos usan datos públicos donde un hecho cabe en una sola tabla. Argo-Bench construye un mundo con economía, fraude e incentivos coherentes y cada tarea tiene una solución de referencia ejecutable. El patrón se repite en otras mediciones: los agentes de correo ejecutan 99,7% de sus llamadas pero resuelven 33,5%, y los de operaciones ubican la falla y casi nunca la reparan.
Qué viene
- El paper es un preprint en versión 1.
- Los autores presentan el banco como herramienta para desarrollar agentes que entiendan y actúen sobre datos reales.
- Sin plazos anunciados para una tabla pública de resultados.
Cierre
La promesa del agente de datos era ahorrar la consulta. Argo-Bench muestra que la parte cara sigue siendo decidir qué hacer con la respuesta.
Fuentes
Editado por Rodrigo Cornejo. Cómo trabajamos: quiénes escriben las notas.
