マルウェア開発者がAI分析回避のため核兵器テキスト埋込
原題: Malware developers added nuclear and biological weapons text to to their spyware
なぜ重要か
AI安全機能の設計上の盲点が実際の攻撃に悪用される初の実例として、AIセキュリティ業界に重要な示唆を提供している。
サイバーセキュリティ研究者John Scott-Railtonが6月10日にXで報告。マルウェア開発者がスパイウェアに核・生物兵器関連テキストを意図的に埋め込み、LLMの安全性機能を悪用してAIセキュリティスキャナーによる分析を回避する手法を発見。投稿は150万回表示され、AI安全性機能の盲点が悪用される事例として注目。
サイバーセキュリティ研究者のJohn Scott-Railton氏が6月10日にX上で、マルウェア開発者による新たなAI回避手法を報告した。この手法では、スパイウェアに核兵器や生物兵器に関するテキストを意図的に埋め込むことで、LLM（大規模言語モデル）の安全性機能を悪用し、AIセキュリティスキャナーによる分析を回避している。
Scott-Railton氏は「LLMの安全性拒否反応を引き起こすことが目的」と説明し、この手法をAI安全性機能の一次的な過度な制限が二次的な盲点を生む実例として挙げた。同氏はクローズドモデルとオープンモデルの両方で積極的な拒否反応が組み込まれると、攻撃者がこれらの特徴を発見し悪用する盲点が生まれると警告している。
投稿は150万回表示され、2,100件のリポスト、2,100件のいいね、13,000件のブックマーク、4,500件の返信を集めた。同氏は攻撃者がこれらの機能を悪用する初期段階にあり、複雑なサイバーセキュリティ問題を扱うユーザーシステムが安全性で鈍化されていないモデルを要求するようになっても驚かないと述べた。