Claude Opus 4.5「Nerf疑惑」を追跡するベンチマーク登場
原題: Livenerf: Has Opus 5.5 been nerfed yet?
なぜ重要か
モデル変更の事後的・非公開実施はAI業界全体の信頼性問題に直結しており、独立した継続的ベンチマークの需要を示す事例となる。
GitHubユーザーのninjahawkが2026年9月22日のClaude Opus 4.5リリースに合わせ、モデルがリリース後に密かに性能低下するかを継続的に追跡するオープンソースベンチマーク「livenerf」を公開した。APIキー不要のClaude Maxサブスクリプション経由で動作し、プロンプトを固定して再現性を高める設計を採用している。
Anthropicが「nerf（こっそりモデルを弱体化）している」という疑惑は以前から根強い。量子化、小さなモデルへの差し替え、推論effort削減、ルーティング変更など、様々な仮説が挙がってきたが、これまでは「リリース当日の基準値」が存在しなかったため、議論は主観的な印象の応酬で終わっていた。
livenerf はこの問題に対して「Day-0ベースライン」を設ける形で応える。Claude Opus 4.5のリリース日（2026年9月22日）を起点にスコアを記録し続け、時系列でモデル性能の変化を可視化する。
技術的な工夫として、サンプリングパラメータの設定や「thinking」モードの無効化が不可能なClaude Code環境（`claude -p`コマンド）の制約をそのまま受け入れつつ、プロンプトの完全固定と追記のみ許可するappend-onlyデータ構造でノイズを最小化している。リポジトリはすでに408 Starを集め、実行にはClaude MaxサブスクリプションのみでAPIキーは不要。
PREREGISTRATION.mdには測定方法を事前登録する形式を採用し、後付け解釈を防ぐ姿勢を示している。小規模かつ地味なプロジェクトではあるが、モデルプロバイダーの透明性を独立した第三者が検証しようとする試みとして注目を集めている。