「1回できた」は「いつでもできる」ではない — MicrosoftがAIエージェントの本番耐性を測る道具を公開

AIエージェントのデモを見て「すごい、もう仕事任せられるじゃん」と思ったこと、ないだろうか。私はある。だが、その「1回うまくいった」を「毎回うまくいく」と読み替えた瞬間、たぶん多くの企業が痛い目を見る。

Microsoftが公開したオープンソースの検証環境「ThinkingBox」は、まさにその落とし穴を数字で突きつけてくる。論文のタイトルからして、そのものずばりだ——"One Success Isn't Reliability"（1回の成功は信頼性ではない）。

ThinkingBoxとは何か

ThinkingBoxは、AIエージェントが実際の業務タスクを「信頼できるレベルで」こなせるかを検証するための、サンドボックス兼ベンチマークだ。エージェント・ツール・ユーザーのやり取りを再現する隔離環境で、MCP互換のツールセッション、完全な実行トレース、そして最終的な状態にもとづく評価を提供する。

ポイントは、この最後の「状態にもとづく評価」にある。エージェントが「予約しました」と発言したかどうかではなく、バックエンドのデータベース上で実際に予約レコードが正しく作られたか——そういう、実際の状態変化で採点する。エージェントの言葉ではなく、行動の結果を見るわけだ。ここが従来のベンチマークと決定的に違う。

もともとThinkingBoxは非公開のリポジトリで、Microsoft Copilot Studio向けのエージェント強化学習に取り組む開発者・研究者が使っていたものだという。それが一般にGitHub（microsoft/thinkingbox）で公開された。

507のワークフローで測ったもの

ベンチマーク本体「thinkingbox-bench」には、507個の「ポリシー条件付き」ワークフローが含まれる。小売、ホスピタリティ、自動車保険、ネオバンクの社内IT、コンサルのIT/HRサポート——実際の業務を模した、生々しいシナリオ群だ。

「ポリシー条件付き」というのがミソで、単に「タスクをこなせ」ではなく、「このルールを守りながらこなせ」という制約がつく。現実の業務がまさにそうだ。返金には上限がある、本人確認をしてからでないと情報を出せない、といった条件を守れなければ、たとえタスクを完了しても失格になる。

各タスクは、最終状態・副作用・対話の複数の観点から、実行可能なチェックで採点される。1つの最終回答で丸をつけるのではなく、複数の角度から「本当にちゃんとやったか」を検証する仕組みだ。

突きつけられた数字

結果が、なかなかに厳しい。

プロプライエタリなモデルもオープンウェイトのモデルも含めて評価した中で、最強のモデルでもpass@1（1回試して成功する割合）は65.36%。ここだけ見れば「まあ3分の2はできるのか」と思える。

問題はその次だ。同じタスクを20回試して20回とも成功する割合——pass^20は、わずか25.25%まで落ち込む。つまり、たまたま1回成功する軌道を見つけられることと、同じ業務タスクを安定してこなせることの間には、埋めがたい溝がある。

さらに不気味なのは、失敗したケースの中身だ。多くの失敗トライアルは、途中でエラーを吐いて止まったわけではない。きれいに処理を終え、状態を変える正しい操作もしている。それでも最終結果は間違っている。要するに、エージェントの発言やツール呼び出しが「成功っぽく」見えても、それは業務が本当に完遂されたことの証拠にはならない、ということだ。

これは、AIエージェントを本番に載せようとしている人ほど、背筋が寒くなる話だと思う。デモで動いた、テストで通った——その「動いた」が、単発でも3回に1回は静かに間違え、20回連続で正しくやり遂げられるのは4回に1回しかない、という現実の上に乗っているのだから。

この道具で何が変わりうるか

では悲観的なだけかというと、そうでもない。ThinkingBoxが価値を持つのは、まさにこの「静かな失敗」を可視化する共通のものさしを、無料で誰にでも配った点にある。

これまで、エージェントの信頼性を測る方法は各社バラバラで、「うちのエージェントは優秀です」という主張を客観的に比べる術が乏しかった。共通のベンチマークが公開されたことで、ツールを選ぶ側は「pass@1は高いがpass^20が低い＝派手だが本番に弱い」といった見方で製品を評価できるようになる。マーケティングの美辞麗句を、数字で裏取りできるわけだ。

もう一歩進めれば、これは開発側の武器にもなる。オープンソースなので、自社のエージェントをこの環境に通して弱点を洗い出し、失敗パターンを学習データにして鍛え直す——実際、元の用途がCopilot Studio向けの強化学習だったことを考えれば、そういう改善ループに組み込む使い方こそ本命だろう。信頼性という、これまで曖昧だった軸に測定可能な足場ができた意味は大きい。

所感

正直に言うと、この手のベンチマークは地味で、ニュースとしては派手さに欠ける。新しい動画生成AIのほうが見出しは映える。

だが、2026年のAIの話題が「賢いモデル」から「任せられるエージェント」へ移ってきた今、本当に問われているのは知能の高さではなく、退屈なほどの安定性のほうだ。ThinkingBoxが暴いたのは、その安定性がまだ全然足りていないという、直視したくない現実である。エージェントに業務を任せたいと考えているなら、ベンダーの「できます」を鵜呑みにする前に、こういう検証台の存在を知っておいて損はない。

技術的な詳細はarXivの論文で読める。