何が起きたか
- 6人の著者（Andrew RabinovichとZhao Chenを含む）が、2026年11月3日にarXivでPAYWORTHYを発表した。これは、AIエージェントが有償の仕事を完了するかどうかを、言語モデルが予見できるかを試すテストだ。コードはUpworkのGitHubアカウントで公開されている。
- テストは、あるプラットフォームで2020年から2026年に投稿された1,880万件から抽出した、実際のフリーランス案件1,494件を使う。
- エージェントは、案件の記載だけをもとに、各仕事を1回で試みる。モデルが依頼主の役の審査役として、結果を受け入れるかどうかを判断する。
- そのうえで、18のモデルが試行の前に成功の確率を予測し、受け入れられた仕事を拒否された仕事より上に並べられるかを測る。
なぜ重要か
- エージェントに有償の仕事を任せる前に、誰かが成功するかどうかを判断しなければならない。その見積もりが外れれば、不可能な仕事にお金や時間を失う。
- 結果は、重要な入力が、選んだモデルではなく、エージェントにできないことの説明がどれだけ正直かにあることを示している。
- こうした製品に通常ついてくる一般的な説明では、予測の価値がほとんど失われてしまうことがある。
数字で見る
0.66〜0.86 対 0.45〜0.56。 AUCの範囲で、0.5はランダムな順位づけに相当する。前者は、モデルにエージェントができないことを伝えた場合。後者は、エージェントをブラウザとコード実行ができる汎用のものとしか説明しなかった場合だ。
背景
著者らは、この結果が、Claude、GLM、Kimi、Qwenという4つの別のモデルファミリーの審査役でも成り立つことを確かめた。さらに、情報を与えられた予測は、2人の人間の評価者の判断も順位づけできた。主な審査役が別のモデルであるため、これは重要な確認だ。
留意点がある。ここで仕事が受け入れられるかどうかは、自動の審査役の判断であり、お金を払う人の判断ではない。また、査読前のプレプリントであり、エージェントが受け取るのは案件の記載だけで、依頼主との対話はない。
Mamíferoでは、エージェントが職場に入ってくる様子を追っています。Impression-R1が放射線の所見を下書きすることや、GitHub Copilotが複数のエージェントによるプロジェクトを追加したことを伝えました。ほかに、ThinkingBoxがエージェントに、残したデータベースに対して報酬を与えること、Legoraが5億5,000万ドルを調達したことも伝えています。
今後
- 仕事のプラットフォームは、こうした予測を使って、どの案件をエージェントに回すかを絞り込めるかもしれない。
- 公開されたコードにより、ほかのエージェントや説明でもテストを繰り返せる。
- お金を払う人の実際の判断に対して、より大きな規模で確かめることが、まだ残っている。
まとめ
エージェントにできないことを知っているほうが、どのモデルが審査するかを知っているより役に立つことがわかった。エージェントを売る側にとっての問いは、そのリストを公開する気があるかどうかだ。
出典
- Rezaei, M. R., Wang, D., Levert, B. ほか「PAYWORTHY: Can LLMs Predict Which Freelance Jobs an AI Agent Will Complete?」arXiv、2026年11月3日、2611.05759。査読前のプレプリント。本ノートは要旨に基づく。
- カバー画像：helloquence、CC0、Wikimedia Commonsより
編集：Rodrigo Cornejo。選定と検証の方法：ノートを書いているのは誰か。
