LLMハイブリッド評価で精度維持・コスト75%削減
原題: A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost
なぜ重要か
LLM評価コストの大幅削減は、AI活用を本番環境に定着させる上で重要な経済的障壁の一つを取り除く可能性を持つ。
Hightouchのエンジニアチームは2026年11月4日、同社のアイデンティティ解決（Identity Resolution）の採点タスクにおいて、小型モデル「Jev」とClaude Opus 4を組み合わせたハイブリッド評価モデルが、Opus単独と同水準の精度をコスト4分の1以下で実現できることを実験で確認した。単体でのJevとGPT-6 Lunaの精度はそれぞれ88.8〜97.3%に留まっていた。
Hightouchの技術チーム（Albert Jin、Neil Desai、Delaney Mackenzie）は、自社のIdentity Resolution機能の評価コストを削減するため、小型・高速な判定モデルであるJevとGPT-6 Lunaがフロンティアモデルに匹敵する採点精度を出せるか検証した。
Identity Resolutionとは、複数のデータソースに散在する同一ユーザーのレコードを統合（マージ）するプロセスだ。特に「過剰マージ（over-merging）」、つまり本来別人のレコードを誤って同一人物と判定してしまうケースを検出する採点は、難易度が高い。
実験の主な結果は次のとおり。単体精度ではLunaがJevを上回ったが、難易度の高いケースに絞ると両者の差は消えた。一方、信頼度スコアの較正（calibration）においてはJevが優れており、Jevが間違えるケースの多くは「自信が低い」という正直なシグナルを伴っていた。
この特性を活かして設計されたのが「ハイブリッド評価モデル」だ。Jevが高信頼度で判定できる場合はJevの答えをそのまま採用し、Jevの信頼度が低い場合に限りClaude Opusに問い合わせる構造を取る。これにより、Opus単独採用と比べて精度を維持しながらコストを4分の1以下に抑えることができた。
同社は信頼度の閾値（confidence threshold）の設定方法や、テストセットが十分に複雑なケースをカバーしているかという検証プロセスについても詳述しており、実運用への適用可能性を示している。