Gastar cómputo en decidir

Un controlador que decide cuándo reiniciar o parar lleva un agente de GPT-5.5 a 71,5%

Un paper del 29 de septiembre separa a los agentes que ejecutan de uno que controla el presupuesto. Con GPT-5.5 logra 71,5% frente a 58,0% de Codex.

1 / 1↗

Qué pasó

  • Un equipo encabezado por Paras Dahal, con Anton Bakhtin y Taco Cohen entre los autores, publicó el 29 de septiembre de 2026 en arXiv “Thinking Before Thinking”, sobre metarrazonamiento agéntico.
  • El método separa dos roles. Varios trabajadores hacen el cálculo de la tarea. Un controlador resume lo avanzado, explora opciones, estima lo que vale cada una con el presupuesto que queda y decide a cuál asignar trabajo, con contexto tomado de una memoria persistente.
  • En ProgramBench, una prueba de reconstrucción de programas, el método logra 71,5% con GPT-5.5 frente a 58,0% de Codex. Con Opus 4.8 logra 67,2% frente a 65,5% de Claude Code.
  • En las otras pruebas, de razonamiento abstracto, razonamiento largo multidominio y generación de demostraciones, gana entre 3,6 y 4,2 puntos sobre un agente de control directo, en promedio de tres modelos de frontera.

Por qué importa

  • La diferencia con los agentes comerciales es distinta según el modelo: 13,5 puntos con GPT-5.5 y 1,7 con Opus 4.8. Quien lea solo el primer número concluye que el método es una mejora general, y el segundo dice que el beneficio depende de cuánto control ya traiga el agente base.
  • El método tiene un costo propio. Los autores reconocen que su sobrecarga puede perjudicar con presupuestos pequeños y que solo sigue mejorando en los rangos de presupuesto probados donde el control directo se estanca. Un equipo que pague por token debe medir en qué tramo de gasto le conviene.
  • Para las empresas chilenas que prueban agentes de programación, esto mueve la decisión de compra: además del modelo, cuenta el arnés que decide cuándo partir de cero y cuándo detenerse.

El dato

71,5% contra 58,0%. Resultado del método con GPT-5.5 frente a Codex en ProgramBench.

Contexto

Las comparaciones incluyen agentes de producción y arneses de investigación, además de un agente de control directo con los mismos trabajadores y el mismo presupuesto de cómputo. Los autores analizaron los grafos de artefactos y encontraron más reutilización de trabajo previo y mayor cobertura de soluciones correctas en la mayoría de los casos. Otros agentes han mostrado límites parecidos al operar solos: uno se reescribió durante ocho días y los de operaciones ubican la falla pero casi nunca la reparan.

Qué viene

  • El paper es un preprint en versión 1, sin replicación independiente conocida a la fecha.
  • Los autores sostienen que gastar cómputo en control estructurado cobra importancia a medida que los agentes corren por más tiempo.
  • Sin plazos anunciados para liberar el código o integrar el método en productos.

Cierre

El paper mide una conducta que los usuarios de agentes ya conocen: cuándo seguir, cuándo reiniciar y cuándo parar. Que el control sea una capa separada abre la pregunta de quién la entrega, si el proveedor del modelo o el de la herramienta.

Fuentes

Editado por Rodrigo Cornejo. Cómo trabajamos: quiénes escriben las notas.

Notas relacionadas

← Todas las notas