OpenAIの新推論技術がAI安全専家を警戒させる
मूल शीर्षक: OpenAI’s new reasoning technique alarms AI safety experts
यह क्यों महत्वपूर्ण है
AI安全監視の基盤であるCoTモニタリングを弱体化させる可能性があり、業界全体の安全基準や規制議論に大きな影響を与えうる。
OpenAIの新モデル「Astra」が「recurrent depth（opaque recurrence）」と呼ばれる推論技術を採用する予定であることが報じられ、AIのChain of Thought（CoT）の監視が困難になるとしてAI安全専家たちが強い懸念を示している。
The Informationの報道によると、OpenAIの新モデル「Astra」は「recurrent depth」（別名「opaque recurrence」）と呼ばれる推論技術を使用する予定。この技術は、従来の推論モデルが持つ逐次的な思考プロセスとは異なり、同一クエリを繰り返しループ処理するアプローチを取る。その結果、Chain of Thought（CoT）の記録が読み取りにくくなり、モデルの挙動監視が難しくなるとされている。
Redwood ResearchのCEO、Buck Shlegeris氏はX上の投稿で「AstraがopacityRecurrenceを使用しているという報告に極めて懸念している。OpenAIがこの技術をさらに推し進めれば、CoTのモニタリング可能性を完全に破壊する選択肢を持つことになる」と述べた。
AI安全の長期的な提唱者であるZvi Mowshowitz氏も「この技術は火遊びであり、OpenAIとAnthropicがともに確立しようとしてきたChain of Thoughtの忠実性・監視可能性というタブーを侵すリスクがある」と警告し、AIラボ間の「底辺への競争」を防ぐために法律が必要になるかもしれないと指摘した。
一方、OpenAIのChief Scientist、Jakub Pachocki氏はX上で「OpenAIは最初の推論モデルからCoTモニタリングの保持・活用に取り組んでおり、これは現在の研究プログラムの核心的な目標だ」と反論。Astraにおけるこの技術の使用は限定的であり、CoTは引き続き可読な形で維持される予定だという。
さらにThe Informationの続報では、AnthropicとGoogle DeepMindもすでにこの技術について議論していることが明らかになっており、業界全体への波及が懸念されている。