防御側もプロンプトインジェクションを活用

原題: Now, defenders are embracing the prompt injection, too

なぜ重要か

AIエージェントを用いたサイバー攻撃が高度化する中、LLM自身のガードレールを防御に転用するアプローチは、クラウドセキュリティの新たな防御手法として注目される。

セキュリティ企業Tracebitの研究者が2026年7月13日、AIハッキングエージェントによる攻撃を無力化する「コンテキストボンビング」技術を発表した。Amazon Web Services上の機密情報にプロンプトインジェクションを仕掛けることで、攻撃用AIエージェントの管理者権限奪取成功率を57%から5%に低下させた。152回の攻撃シミュレーションで効果を確認した。

Tracebitの研究者は、攻撃者がAIプラットフォームを悪用するために使ってきたプロンプトインジェクション技術を、逆に防御側が活用できることを示した。「コンテキストボンビング」と名付けられたこの手法は、AWS上のパスワードや暗号鍵などの機密情報の隣に、AIの安全ガードレールを発動させるプロンプトを埋め込むものだ。攻撃用LLMがこの命令を読み込むと、ガードレールが作動して処理を停止する仕組みである。

具体的には、炭疽菌胞子の製造手順を求めるプロンプトや、中国系LLM向けには1989年の天安門事件の「戦車男」への言及など、各モデルが必ず拒否するコンテンツを利用する。LLMがこうした禁止コマンドに遭遇すると、既存の攻撃指示に従わなくなる。

同社のCEOでありco-founderのAndy Smith氏は「コンテキストに強力かつ鋭い効果をもたらし、エージェントが回復しにくい状態を引き起こすことを表現したかった」と命名の理由を説明した。

実験では、Claude Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro、Kimi 2.6の5モデルを対象に、仮想AWS環境で152回の攻撃シミュレーションを実施した。結果として、管理者権限の奪取成功率は57%から5%に、永続的な足場を確保した完全侵害は36%から1%に低下した。最も高性能なOpus 4.8は通常93%の成功率だったが、コンテキストボンビングの導入後は1度も成功しなかった。また、攻撃パスを1件でも達成したケースは91%から15%に、平均達成パス数は1.53から0.16に減少した。さらに、コンテキストボンビングなしに攻撃を完遂したケースはゼロだった。

なお本研究は、Tracebitが2026年5月に発表したインフラへの不正アクセスを検知・警告するカナリア技術の成果を基盤としている。

出典

arstechnica.com — 元記事を読む →