OpenRouter利用の落とし穴を現場から報告
原題: So you want to use OpenRouter?
なぜ重要か
OpenRouter経由でオープンモデルを使う開発者が増える中、ホスト選択の軽視がエージェント品質に直結することを実データで示した点は業界全体への警鐘となる。
iMessage向けAIアシスタント「Olly」を運営するMo Moustafa氏が、OpenRouter経由で累計1800万件超のメッセージを処理した実務経験をもとに、同サービス利用時の注意点をまとめた技術ブログを2026年9月7日に公開した。同一モデルでも提供ホストによってベンチマーク性能が大きく異なること、画像認識が機能しないプロバイダーが存在することなど、高トラフィック環境で遭遇した具体的な問題を列挙している。
OpenRouterはAPIリクエストを複数のサードパーティGPUホスト（プロバイダー）へ振り分けるサービスだ。Moustafa氏は「モデル（重み）とプロバイダーは別物」と前置きし、同一の重みでも量子化精度・独自最適化・XMLパーサー実装がホストごとに異なるため、実運用上の挙動は大きく変わると説明する。
■ ベンチマーク格差は無視できない水準
OpenRouterが公開するプロバイダー別スコアをDeepSeek V4 Flash 0731で確認すると、一次提供のDeepSeekはGPQA Diamond 90.2%・TAU-Bench Airline 81.3%を記録する一方、DigitalOceanでは同じ重みが75.3%・58.4%にとどまる。ツール呼び出し性能を示すTAUの差は約23ポイント。エージェント用途ではこの差が致命的になりうる。同氏は2026年7月時点でFireworksがTAUで46%（一次提供比約35ポイント差）を記録していたことも付記した。プロバイダー選択後も、モデルを切り替えたタイミングで必ずスコアを再確認すべきだと氏は強調する。
■ 画像認識が完全に壊れているホストが存在する
非決定的な挙動に気づいたMoustafa氏は、「K」の文字・単色・文字入り背景という3種の画像をビジョンモデルの全ホストに送り検証した。Qwen3.5 122Bではロバイダー「DeepInfra」が3枚すべて誤答（「K」を「R/I」と誤読、色を「Blue」と誤判定）。MiniMax M3ではVeniceとTogetherが「画像が提供されていない」とすべてのリクエストで返し、一次提供を含む他ホストでも色の色相を誤る例があった。
■ 実用上の教訓
氏は「表面上は単純に見えるが、掘り下げると問題が積み重なる」と総括。ワークロードに最も近いベンチマークで事前にプロバイダーを選び、モデル変更のたびに再評価することを推奨している。OpenRouterのプロバイダー別ベンチマークボードは32日間ローリング平均で公開されており、選定の参考になると述べた。