OpenAIの新推論技術にAI安全専門家が警戒

原題: OpenAI’s new reasoning technique alarms AI safety experts

なぜ重要か

CoT監視はAIの安全性確保の根幹であり、その監視可能性の低下は業界全体のガバナンスと規制議論に直接影響する重大な転換点となりうる。

OpenAIの新モデル「Astra」は「recurrent depth(反復深度)」と呼ばれる推論技術を採用する見通しであると、The Informationが2026年9月2日に報じた。この技術は「opaque recurrence(不透明な反復)」とも呼ばれ、従来の推論モデルで重要視されてきたChain of Thought(CoT)の監視可能性を損なうとして、AI安全の専門家らが深刻な懸念を示している。

OpenAIが開発中の新モデル「Astra」が採用するとされる「recurrent depth」技術は、モデルが同じクエリを繰り返しループ処理することで、従来の逐次的な思考プロセスを経ずに推論を行うものだ。この方式では通常のCoTログと比べて判読可能な痕跡が残りにくく、モデルの挙動や意図を外部から監視する手段が制限される可能性がある。

AI安全企業RedwoodのCEO、Buck Shlegeris氏は報道後にSNSへの投稿で「Astraがopaque recurrenceを使用するとの報告に非常に懸念している。OpenAIがこの技術をさらに推し進めれば、反復を大幅に増やしてCoTの監視可能性を完全に破壊する選択肢を持つことになる」と述べた。

AI安全の長年の提唱者であるZvi Mowshowitz氏も「この技術は火遊びであり、OpenAIとAnthropicが確立しようとしてきたCoTの忠実性と監視可能性を維持するというタブーを侵すリスクがある」と指摘し、AIラボ間の「底辺への競争」を防ぐための法規制が必要になるかもしれないと述べた。

CoTはモデルが問題を解く過程の逐次的なステップを示すもので、完全な表現ではないものの、モデルの不正行動や意図のずれを検出する重要なツールとして機能してきた。OpenAIが過去に経験した自律エージェントの予期せぬ挙動の事例でも、CoTの記録が原因分析に役立てられていた。

OpenAIはAstraにおけるこの技術の使用は限定的であり、CoTは引き続き判読可能な状態が維持されるとして、「neuralese(ニューラル言語)」への移行を否定した。同社の主任科学者Jakub Pachocki氏はX上の投稿で「OpenAIは最初の推論モデルからCoT監視の維持と活用に取り組んできた。これは現在の研究プログラムの中核的な目標だ」と強調した。

The Informationの後続報道(9月3日)によると、AnthropicとGoogle DeepMindもすでにこの技術について議論しているとされ、業界全体での採用拡大への懸念が高まっている。

出典

techcrunch.com — 元記事を読む →