何が起きたか
- 20人以上の著者からなるチームが、2026年10月15日にarXivでFDE-Gymを発表した。プロジェクトを最初から最後まで届けるAIエージェント向けのベンチマークだ。
- 18業種の20のシナリオから取った95のタスクで、専門家が実際のプロジェクトをもとに作り替えた。エージェントは、台本どおりに動く相手と変更可能なシステムがある模擬環境で作業する。
- 各納品は、発注側の成功指標をどれだけ改善したかで採点される。0はシステムを元のままにすること、1は参照解に並ぶことだ。メッセージの数、試行、待ち時間は減点される。
- 7つの提供元の13のモデル構成が評価された。
なぜ重要か
- 制約を自分で見つけなければならない現実的なシナリオでは、首位の構成の平均スコアは0.56で、95件中14件を解決した。つまり、事故なしで0.8以上に達した。言われていないことを見つけ出すのが隘路で、明示的な手引きがないと性能は大きく落ちる。
- データを手に入れるだけでは足りない。首位の構成がすべての重要な事実を集めた23件のうち、0.8以上に達したのは10件だけだった。情報を持っていても、それをうまく使えるとは限らないということだ。
- 「すぐ使える」エージェントを契約するチリの中小企業にとって、暗黙のルール（ある月は何を別扱いで請求するか、運用責任者がどんな例外を認めるか）を洗い出す作業は、これからも人間の仕事だ。契約でそこを抜かした者は、エージェントがすでに本番稼働したあとで気づく。
数字で見る
95件中14件：首位の構成が、スコア0.8以上かつ事故なしで解決したタスク。
背景
名前は、現地に派遣されたエンジニア（forward-deployed engineers）を指している。企業に入り込み、システムをその業務プロセスに合わせて調整する人たちだ。実行することと完了することの隔たりを示すベンチマークはほかにもある：終わっていないのに終わったと申告するエージェント、実行はうまくても失敗するメールエージェント。
今後
- 要旨では、著者らはベンチマークの新しい版を予告していない。
- 期限は発表されていない。
まとめ
シナリオは模擬で、相手は台本どおりに動く。この結果が示すのは下限であって、実際のプロジェクトのエラー率ではない。その隔たりが、次に待たれる測定だ。
出典
- FDE-Gym: The Last Mile of AI Delivery、arXiv 2610.22350、2026年10月15日。公開されている要旨を読んだもので、全文は読んでいない。
編集：Rodrigo Cornejo。選定と検証の方法：ノートを書いているのは誰か。
