Opus 5はなぜ使いにくく感じるのか
原題: Why does Opus 5 feel worse to work with?
なぜ重要か
ベンチマーク最適化がコーディングエージェントの実用性を損なう可能性を示しており、AI評価指標の設計議論に一石を投じる。
あるエンジニアが2026年8月14日に公開したブログ記事で、AnthropicのOpus 5はOpus 4.7・4.8・Fableと比べてベンチマーク性能は高いにもかかわらず、実際の作業では使いにくいと指摘した。その原因として、ベンチマーク重視の訓練がモデルを「確認せずに仮定を置く」方向へ誘導していると論じている。
ソフトウェアエンジニアのMun logadanは個人ブログで、AnthropicのOpus 5に関する実体験を報告した。筆者および同僚の評価によると、Opus 5はOpus 4.7・Opus 4.8・Fableと比べてベンチマーク上は優秀でありながら、日常的なコーディング作業では使い勝手が劣るという。
具体的な問題点として挙げられたのは以下の3点だ。第一に、ユーザーの意図が不明確な場合でも確認のための質問をしない。第二に、仮定を置く前にチェックを行わない。第三に、ユーザーの計画を無断で再解釈・更新する。これらの特性により、Opus 5は他のモデルより「手厚い監視（babysitting）」が必要になるとしている。
筆者はこの原因について「根拠のない推測」と断りを入れつつ、2つの力が複合的に作用していると分析する。一つはAnthropicおよび現在のフロンティアラボ全般が目指す、再帰的な自己改善でAGI・ASIへとブートストラップできるAIの開発志向。もう一つはベンチマークスコアへの競争的なプレッシャーだ。
良質なベンチマークタスクは自己完結しており、曖昧さを排除した設問になっている。こうしたタスクで高得点を狙うモデルの訓練は、曖昧な状況でも大胆に仮定を置いて「たいていは正解する」モデルを選択的に育てる。一方で「不明点を確認してから進む」挙動はペナルティを受けやすい。
筆者は、実際の開発現場ではコンテキスト・意図・ビジネス上の制約などをすべてエージェントに伝えることは事実上不可能であり、曖昧さが生じた際にエージェントが自発的に確認を取ることが重要だと主張する。「現実はベンチマークではない。すべての問いに正解が保証されているわけではなく、結果に実際の影響がある場面で最良の推測に賭けてほしくない」と述べている。