发生了什么
- 六位作者（包括 Andrew Rabinovich 和 Zhao Chen）于 2026年11月3日在 arXiv 发表了 PAYWORTHY，这是一项测试：语言模型能否预见 AI 智能体是否会完成一份有偿工作。代码发布在 Upwork 的 GitHub 账号上。
- 测试使用 1,494 条真实的自由职业任务，抽样自某平台 2020 年至 2026 年间发布的 1,880 万条任务。
- 智能体仅凭任务描述，一次性尝试完成每项工作。一个模型扮演委托人的角色担任评判，决定是否接受结果。
- 随后，18 个模型在任何尝试之前预测成功的概率，测试衡量它们把被接受的工作排在被拒绝的工作之前的能力。
为什么重要
- 在把有偿工作交给智能体之前，有人得判断它能否成功。如果这个估计出错，就会在不可能完成的工作上浪费金钱或时间。
- 结果表明，关键的输入不是所选的模型，而是对“智能体做不到什么”的描述有多坦率。
- 这类产品通常附带的那种笼统描述，几乎会让预测失去全部价值。
关键数字
0.66 至 0.86，对比 0.45 至 0.56。 这是 AUC 的范围，其中 0.5 相当于随机排序。前者来自告诉模型智能体做不到什么，后者来自只把它描述成一个能用浏览器和执行代码的通用智能体。
背景
作者检验了这一结果在另外四个模型家族（Claude、GLM、Kimi 和 Qwen）担任评判时是否依然成立。此外，在掌握信息的情况下，这些预测也能对两位人类评分者的判定做出排序，这是一项相关的检验，因为主要的评判者是另一个模型。
需要说明的是：这里“接受一项工作”是自动评判者的决定，而不是付费的人的决定。此外，这是一篇未经同行评审的预印本，而且智能体收到的只有任务描述，没有与委托人的对话。
我们在 Mamífero 持续关注智能体如何进入职场。我们报道过Impression-R1 起草放射学结论，以及GitHub Copilot 新增了支持多个智能体的项目功能。还有ThinkingBox 奖励智能体留下的数据库，以及Legora 融资 5.5 亿美元。
接下来
- 工作平台可以利用这类预测来筛选哪些工作交给智能体。
- 开放的代码使这项测试可以用其他智能体和描述重复进行。
- 仍有待在更大规模上，对照付费者的实际决定进行检验。
一句话总结
事实证明，知道智能体做不到什么，比知道由哪个模型来评判它更有用。对销售这些产品的人来说，问题是他们愿不愿意公布这份清单。
来源
- Rezaei, M. R., Wang, D., Levert, B. 等，“PAYWORTHY: Can LLMs Predict Which Freelance Jobs an AI Agent Will Complete?”，arXiv，2026年11月3日，2611.05759。未经同行评审的预印本；本笔记依据摘要写成。
- 封面图片：helloquence，CC0，来自 Wikimedia Commons
编辑：Rodrigo Cornejo。我们如何挑选和核实：谁在写这些笔记。
