Qué pasó
- Un equipo de más de 20 autores publicó en arXiv, el 15 de octubre de 2026, FDE-Gym, un banco de pruebas de agentes de IA para entregas de proyectos de punta a punta.
- Tiene 95 tareas tomadas de 20 escenarios de 18 sectores, adaptadas por expertos a partir de proyectos reales. Los agentes trabajan en entornos simulados con interlocutores guionados y sistemas modificables.
- Cada entrega se puntúa por cuánto mejora la métrica de éxito de quien contrata: 0 es dejar el sistema igual y 1 es igualar la solución de referencia. Se penalizan mensajes, ensayos y tiempos de espera.
- Se evaluaron 13 configuraciones de modelos de siete proveedores.
Por qué importa
- En el escenario realista, donde las restricciones hay que descubrirlas, la configuración líder alcanza 0,56 de puntaje medio y resuelve 14 de 95 tareas, es decir, llega a 0,8 o más sin incidentes. Descubrir lo no dicho es el cuello de botella; sin guía explícita el rendimiento cae mucho.
- Obtener los datos no basta. En las 23 tareas donde la configuración líder reunió todos los hechos clave, solo 10 alcanzaron 0,8 o más. Es decir, tener la información tampoco garantiza usarla bien.
- Para una pyme chilena que contrata un agente «listo para usar», el trabajo de levantar reglas implícitas (qué se factura distinto en cierto mes, qué excepción acepta el jefe de operaciones) sigue siendo humano. Quien lo omita en el contrato lo descubre después, cuando el agente ya está en producción.
El dato
14 de 95: las tareas que resolvió la configuración líder, con puntaje de 0,8 o más y sin incidentes.
Contexto
El nombre alude a los ingenieros desplegados en terreno (forward-deployed engineers), que se instalan en una empresa a adaptar un sistema a sus procesos. Ya hay otros bancos de pruebas que muestran la brecha entre ejecutar y terminar: los agentes que se declaran listos antes de estarlo y los agentes de correo que fallan pese a ejecutar bien.
Qué viene
- Los autores no anuncian nuevas versiones del banco de pruebas en el resumen.
- Sin plazos anunciados.
Cierre
Los escenarios son simulados y los interlocutores, guionados: el resultado fija un piso, no la tasa de error de un proyecto real. Esa distancia es la próxima medición pendiente.
Fuentes
- FDE-Gym: The Last Mile of AI Delivery, arXiv 2610.22350, 15 de octubre de 2026. Se leyó el resumen publicado, no el texto completo.
Editado por Rodrigo Cornejo · Quiénes escriben en Mamífero
