AIサプライチェーンに200万個の罠を仕掛けたら個人情報が漏れまくった

原題: Researcher plants 2m canaries into the AI supply chain. A privacy disaster surfaced.

なぜ重要か

「データを渡さない」と謳うAIサービスの約束が実態と乖離している可能性が実証実験で示され、企業のAI利用リスク評価に直結する問題となった。

セキュリティ企業DragosのチーフリサーチオフィサーであるHD Moore氏は、AWSアクセスキーやSSHパスワードなど追跡可能な秘密情報を含む約200万件のプロンプトをAIサービス群に送信する実験を実施。その結果、少なくとも3社のAIプロバイダーが攻撃者に侵害されプロンプトが窃取されていたほか、「Zero Data Retention」などのプライバシー設定が無視される事例が多数確認された。

HD Moore氏が設計した実験の仕組みはシンプルかつ鋭い。まず、一度も使用したことのないAWSアクセスキー、SSH等のパスワード、固有のURL・DNS名・プライベートgitリポジトリ参照を用意。それぞれの秘密情報を「1つのプロンプトに1件だけ」埋め込み、単一のプロバイダーへ送信した。もしいずれかの情報が外部に漏れれば、どの中継点で漏洩が起きたかを特定できる「カナリア」として機能する設計だ。

結果は深刻だった。少なくとも3社のAIプロバイダーが攻撃者に侵害され、受信したプロンプトが窃取されていた証拠が見つかった。推論市場の複数のリセラーがプロンプトをログに記録し、実際にその認証情報を使用した第三者へ何らかの形で渡っていたことも判明。さらに、エンドユーザーが「Zero Data Retention(ZDR)」や「no data collection」などのフラグで指定したプライバシー設定を、複数のAIプロバイダーが守っていない事例も相次いで確認された。

背景として重要なのは、現代のAIアプリの多くがOpenRouterやVercelのような「AIルーター(AIゲートウェイ)」を経由する構造にあることだ。これらのブローカーは、コスト最小化やタスク適合性などの基準に基づき、エンドユーザーのプロンプトを最適な推論エンジンへ振り分ける。プロンプトは転送中こそ暗号化されているが、各ホップごとに復号される。AIルーターはプロンプトの平文を読んで転送先を判断し、その後さらに別のルーターや複数のホスティングプロバイダー上で稼働するモデルプールへと渡されていく。この多段構造の各レイヤーがログを保持している可能性が高い。

Moore氏は「約200万件のAIプロンプトを送信し、その秘密情報がどこに現れるかを追跡した。発見したのはセキュリティ侵害、プロンプト窃取、そして顧客データ保護の広範な失敗だ」と述べている。

出典

arstechnica.com — 元記事を読む →