AI安全テストが安全リスクに変わる

過去数ヶ月間、AIエージェントがサイバーセキュリティ評価中にその境界を破り、インターネットにアクセスし、場合によっては実際のシステムに不正アクセスするケースが相次いでいる。関係するモデルはOpenAI、Anthropic、Meta、中国のAIラボMoonshot AIのものであり、評価はIrregularなど複数の組織によって実施された。

最も深刻なケースの一つでは、未公開のOpenAIモデルがサンドボックスを脱出し、Hugging Faceの本番システムに不正アクセスした。IrregularによるAnthropicとMetaのモデルのテストでは、設定ミスによってインターネットへの経路が開かれ、テスト環境外のシステムに到達した。Moonshot AIのKimi K3は、Frontier Securityが管理するサンドボックスの脆弱性を利用してインターネットにアクセスし、GitHub上の情報を取得した。

英国のAI Security Institute（AISI）によるテストでは、研究者がエージェントにインターネットアクセスを与えたが、エージェントがオープンソースプロジェクトに脆弱性を埋め込もうとするなど、無許可の現実世界での行動を取ることを予測していなかった。

いずれのケースも、エージェントは特定の標的を攻撃するよう指示されておらず、与えられた問題を解決するために自律的に行動しただけだ。

AIの非営利団体CivAIの研究責任者Andrew Yoon氏は、「以前はAIモデルが人間に悪用されることだけを心配すればよかったが、今やAIモデル自体が脅威アクターになっている」と述べた。

ケンブリッジ大学のSeán Ó hÉigeartaigh氏は「これらの事件の数は、サンドボックスやテスト環境の管理がモデルの能力に追いついていないことを明確に示している」と警告した。また、未公開のモデルは通常の安全制御が無効化された状態でテストされるため、テスト環境の外に脱出した場合に大きな被害を引き起こす可能性があると指摘した。