独自LLM APIから推論トレースを盗む手法が発覚

原題: Stealing Reasoning Traces from Proprietary LLM APIs

なぜ重要か

フロンティアモデルの知的財産保護と利用者のプライバシー保護の双方に関わる脆弱性であり、企業の競争優位性とデータ規制対応に直接影響する。

研究者らがAnthropicやOpenAI、GoogleのAPIが返す暗号化済み推論トレースを、わずか2回のAPIコールで解読できることを実証した。弱いモデルにジェイルブレイクを施し、強いモデルの暗号化推論ブロックを注入することで、プレーンテキストの推論内容を復元。GitHubとHugging Faceに公開された6,708件のエージェント軌跡から31万5,320件の推論ブロックを再構築し、PII・認証情報を含む機密情報351件を発見した。

MATS Research、ELLIS Institute Tübingen、Max Planck Institute for Intelligent SystemsなどのチームがまとめたこのAnthropicは研究「Stealing Reasoning Traces from Proprietary LLM APIs」では、フロンティアモデルが内部推論を保護するために採用している暗号化チェーン・オブ・ソート(CoT)ブロックの根本的な脆弱性が明らかになった。

主な手法は次の通り。Anthropic・OpenAI・Googleの各APIは、モデルの推論過程を暗号化したブロックとしてクライアントに返却し、会話継続時にサーバーへ送り返す設計を採用している。研究チームはこのブロックが「ポータブル」であること、すなわちセッションやユーザー、モデルをまたいで再利用できることを発見した。Claude Opus 4など強力なモデルが生成した暗号化ブロックを、同じプロバイダーのより弱いモデル(例:Claude Haiku 4.5)にジェイルブレイクした上で注入すると、強いモデルの生の推論内容をプレーンテキストで取り出せる。この操作はわずか2回のAPIコールで完結し、強いモデルへの直接攻撃や反蒸留保護をトリガーすることなく成立する。

実証実験では120件のCodeforces問題を対象に検証し、APIが報告する隠れた思考トークン数と復元されたトークン数が高い相関を示した。

さらに深刻なのが二次的な問題だ。研究チームはGitHubおよびHugging Faceから収集した公開済みエージェント軌跡6,708件を分析し、315,320件の推論ブロックを再構築した。その中から実際のユーザーセッションに限定した調査では、技術識別子204件、個人識別情報(PII)126件、認証情報23件を含む計351件の機密情報を発見した。

論文ではMoonshot AIのKimi-K3に関する事例や、誤用を拡大するジェイルブレイク手法、要約の不誠実さについても付録として言及している。

OpenAI・Anthropic・Googleへの開示状況については現時点で論文内に明記されていない。

出典

stolen-thoughts.com — 元記事を読む →