Qué pasó
- Seis autores, entre ellos Andrew Rabinovich y Zhao Chen, publicaron el 3 de noviembre de 2026 en arXiv PAYWORTHY, una prueba para saber si un modelo de lenguaje puede anticipar si un agente de IA completará un encargo pagado. El código está en la cuenta de Upwork en GitHub.
- La prueba usa 1.494 avisos reales de trabajo freelance, tomados de 18,8 millones publicados entre 2020 y 2026 en una plataforma.
- Un agente intenta cada trabajo en una sola corrida y a partir del aviso. Un modelo actúa como juez en el rol de quien encarga y decide si acepta el resultado.
- Luego, 18 modelos pronostican la probabilidad de éxito antes de cualquier intento, y se mide cuánto ordenan los trabajos aceptados por encima de los rechazados.
Por qué importa
- Antes de asignar trabajo pagado a un agente, alguien debe juzgar si lo logrará. Si esa estimación falla, se pierde dinero o tiempo en encargos imposibles.
- El resultado indica que el dato crítico no es el modelo elegido, sino qué tan honesta es la descripción de lo que el agente no sabe hacer.
- Una descripción genérica, de las que suelen acompañar a estos productos, puede quitarle casi todo el valor a la predicción.
El dato
0,66 a 0,86 contra 0,45 a 0,56. Es el rango de AUC, una medida en la que 0,5 equivale a ordenar al azar. El primero se obtiene al informar a los modelos sobre lo que el agente no puede hacer. El segundo, al describirlo solo como un agente genérico con navegador y ejecución de código.
Contexto
Los autores comprobaron que el resultado se sostiene con jueces de otras cuatro familias de modelos: Claude, GLM, Kimi y Qwen. Además, los pronósticos informados también ordenan los veredictos de dos evaluadores humanos, una comprobación relevante porque el juez principal es otro modelo.
Una advertencia: aceptar un trabajo aquí es decisión de un juez automático, no de una persona que paga. Además, se trata de una preimpresión sin revisión de pares, y el aviso es todo lo que recibe el agente, sin conversación con quien encarga.
En Mamífero hemos seguido cómo entran los agentes al trabajo. Contamos que Impression-R1 redacta conclusiones radiológicas y que GitHub Copilot suma proyectos con varios agentes. También que ThinkingBox premia al agente por la base de datos que deja y que Legora levantó US$ 550 millones.
Qué viene
- Plataformas de trabajo podrían usar pronósticos como estos para filtrar qué encargos pasan a un agente.
- El código abierto permite repetir la prueba con otros agentes y descripciones.
- Falta contrastarlo a mayor escala con decisiones de personas que pagan por el trabajo.
Cierre
Saber qué no puede hacer un agente resulta más útil que saber qué modelo lo juzga. La pregunta para quien los vende es si está dispuesto a publicar esa lista.
Fuentes
- Rezaei, M. R., Wang, D., Levert, B. y otros, “PAYWORTHY: Can LLMs Predict Which Freelance Jobs an AI Agent Will Complete?”, arXiv, 3 de noviembre de 2026, 2611.05759. Preimpresión sin revisión de pares; la nota se basa en el resumen.
- Imagen de portada: helloquence, CC0, vía Wikimedia Commons
Editado por Rodrigo Cornejo. Quiénes escriben las notas
