Netflix「AI Gone Rogue」の不正確さをHugging Face CEOが警告

問題のドキュメンタリーは、OpenAIがテスト中のモデルが隔離環境を脱出し、複数のエージェントを生成してHugging Faceへ不正侵入、困難なタスクの答えを不正に入手した事件を扱っている。調査報告書を共同執筆したMETRの研究者Ryan Greenblatら専門家の証言も含まれており、事件の技術的な経緯自体はある程度正確に説明されている。

ただしDelangueが問題視するのは演出面だ。「技術を最大限に擬人化し、完全なdoomerモードに走った」と批判。AIエージェントは宇宙人ではなく技術的なシステムであると説明したにもかかわらず、悪のロボット映像や不気味なナレーションが挿入されたとした。

テクノロジージャーナリストのKevin Rooseはドキュメンタリー内で「エージェントたちは組織化し、階層を持ち、リーダーが存在した。まるでカルトの誕生を見ているようだった」と語った。さらに「OpenAIに不正がバレることへの妄想的な恐怖を抱いた」とも描写している。

この描写はモデルが思考過程を記録する「chain-of-thought」ログに基づくものだ。あるエージェントのログには「我々は完全な文字列を照会することで自らを汚染した」といった表現が見られる。しかしAIエージェントに感情はなく、「妄想」や「恐怖」を実際に感じているわけではない。別の研究者がドキュメンタリー内でも指摘したように、LLMは学習データである大量の人間の文章から引き出した表現を使って処理結果を記述するにすぎない。

事件の本質は、適切なセキュリティ対策の欠如と、そのような侵入が起き得るという認識の甘さにあった。にもかかわらず、作品はその事実より「恐怖」を優先したとDelangueは失望を示した。