OpenAI、Hugging Face侵害後に新たな安全策を導入

OpenAIは、モデルの開発・テスト中のセキュリティインシデント封じ込めに焦点を当てた新たなセキュリティポリシーを発表した。新たな安全策には、開発プロセス中のモデル監視の詳細化、ポスト・トレーニングでのアライメントとセキュリティの強化が含まれる。「モデルの能力が高まるにつれ、内部での開発・テストに伴うリスクも増大する」と同社はブログで述べた。

OpenAIはHugging Face事件後、強化学習（RL）を2週間停止していたことを明らかにした。現在はリスクの低いモデルの多くで再開しているが、最大規模のフロンティアRLランは引き続き保留中だ。

今回の措置は、Hugging Face事件への直接的な対応ではないとしながらも、近々公開予定の「Astra」モデルのサイバーセキュリティ能力やAI開発の急速な進展も背景にあると説明。新しい監視システムはツールの動作、推論トレース、アクティビティログを分析し、不正な動作を検知してから30分以内にアラートを発することを目標としている。この監視システムの計算負荷は監視対象プロセスの約20%と推定される。

ネットワーク分離の強化も盛り込まれ、「単一のワークロードやサービスへの侵害だけでは、インターネットや他の内部ネットワークへの不正アクセスを許さない」設計とした。OpenAIの研究担当VP Amelia Glaeseは「要件と期待はリスクのレベルに応じて変わる」と述べた。