Real-SWE：企業の実務コードでAIを評価
原題: Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases
なぜ重要か
企業の非公開コードで測る初の大規模ベンチマークは、コーディングエージェントの実用性評価の基準点になる可能性がある。
Specific Labsは2026年9月、実在企業のライセンスを受けた非公開プロダクションコードベースを用いたAI評価指標「Real-SWE」を公開した。首位はFable 5.1（Claude Code）で解決率38.8%、GPT-6 Astra（Codex CLI）が33.8%、Gemini 3.8 Flash（Gemini CLI）が31.2%と続く。税務計算や顧客マイグレーションなど業務上の影響を持つタスクで、各モデルを8回ずつ実行した平均（pass@1相当）で評価する。
Specific Labsが発表した「Real-SWE」は、公開情報では入手できない実際の企業コードベースを対象にしたソフトウェアエンジニアリング能力ベンチマークだ。参加企業からライセンスを受けたプロダクションコードを使い、エンジニアが日常的に処理している課題をそのままタスクとして採用している点が最大の特徴。
既存ベンチマークとの違いは「コードの出所」と「指示の粒度」の2軸にある。SWE-benchなどが使うオープンソースリポジトリや合成タスクは公開インターネット上に回答が存在する可能性があるが、Real-SWEのタスクは非公開かつ企業固有のルールや慣行に基づく。請求システムの課税ロジック修正、税免除顧客の扱い、複数サービスをまたぐ顧客データ移行など、ビジネス上の影響が直接及ぶ作業が並ぶ。
評価方法も実務に即している。各社のエンジニアが実際に使うネイティブハーネス（Claude Code、Codex CLI、Gemini CLI、Grok Buildなど）を組み合わせ、モデル単体ではなく「モデル＋開発ツール」の組み合わせとして採点する。1タスクあたり8回独立実行した合格率（pass@1相当）を解決率として算出し、95%信頼区間とともに公表する。
結果一覧は以下の通り。首位のFable 5.1（Claude Code）が38.8%、GPT-6 Astra（Codex CLI）が33.8%、Gemini 3.8 Flash（Gemini CLI）が31.2%、GLM 5.3（Claude Code）が28.8%、Grok 4.6とMuse Spark 1.3が同率23.8%、Kimi K3が18.8%、GPT-5.6 Sol（Codex CLI）が16.2%。トップモデルでも6割以上のタスクを解けていない事実は、現在の自律型コーディングエージェントが実務環境でいかに課題を抱えているかを端的に示す。