发生了什么
- 一个由20多位作者组成的团队于2026年10月15日在arXiv上发表了FDE-Gym，这是一个针对端到端项目交付的AI智能体基准测试。
- 它包含95项任务，取自18个行业的20个场景，由专家根据真实项目改编而成。智能体在模拟环境中工作，对话对象按剧本行事，系统可以修改。
- 每次交付的得分，取决于它让委托方的成功指标改善了多少：0表示系统保持原样，1表示与参考方案相当。发送消息、反复尝试和等待时间都会被扣分。
- 共评估了来自七家供应商的13种模型配置。
为什么重要
- 在需要自己去发现约束条件的真实场景中，领先的配置平均得分为0.56，在95项任务中解决了14项，也就是在没有任何事故的情况下得分达到0.8或以上。发现没人明说的东西是瓶颈；没有明确指引时，表现会大幅下降。
- 拿到数据还不够。在领先配置收集齐所有关键事实的23项任务中，只有10项得分达到0.8或以上。也就是说，掌握了信息，同样不能保证用得好。
- 对于一家购买“开箱即用”智能体的智利小企业来说，梳理隐含规则（某个月份哪些东西要另行开票，运营主管会接受哪些例外）的工作仍然要由人来做。在合同里漏掉这一点的人，会在智能体已经上线之后才发现。
关键数字
95项中的14项：领先配置解决的任务数，得分达到0.8或以上且无事故。
背景
这个名字影射的是驻场部署的工程师（forward-deployed engineers）：他们进驻一家公司，让系统适应其流程。已经有其他基准测试显示出“执行”与“完成”之间的差距：还没做完就声称做完的智能体，以及执行得很好却仍会失败的邮件智能体。
接下来
- 摘要中，作者没有宣布基准测试的新版本。
- 没有公布时间表。
一句话总结
场景是模拟的，对话对象是照剧本行事的：这个结果划定的是一条底线，而不是真实项目的错误率。这段差距，是下一项有待进行的测量。
来源
- FDE-Gym: The Last Mile of AI Delivery，arXiv 2610.22350，2026年10月15日。我们读的是已发布的摘要，而不是全文。
编辑：Rodrigo Cornejo。我们如何挑选和核实：谁在写这些笔记。
