OpenAI新手法「Astra」、AI安全専門家が警戒
Judul asli: OpenAI’s new reasoning technique alarms AI safety experts
Mengapa Ini Penting
AIの思考監視可能性はモデルの安全管理の根幹であり、業界全体の規制・開発方針に影響する重要課題
OpenAIの新モデル「Astra」が採用する「opaque recurrence」技術により、AIの思考過程の監視が困難になるとしてAI安全の専門家から強い懸念が示されている。
OpenAIの新モデル「Astra」は「recurrent depth（opaque recurrence）」と呼ばれる推論技術を採用しており、通常の逐次的な思考処理とは異なるアプローチで同じクエリを繰り返しループ処理する。この結果、従来のchain-of-thought（CoT）記録が残りにくくなるとされ、AI安全の専門家たちに警戒感が広がっている。
Redwood CEOのBuck Shlegerisは「Astraがopaque recurrenceを使用しているとの報告に非常に懸念している。OpenAIがこの技術をさらに推し進めれば、recurrenceを大幅に増大させCoTの監視可能性を完全に損なう選択肢を持つことになる」と投稿した。AI安全の提唱者Zvi Mowshowitzも「この技術は火遊びだ。AI企業間の『底辺への競争』を防ぐためには法規制が必要になるかもしれない」と警鐘を鳴らした。
OpenAIのチーフサイエンティストJakub Pachockiは「OpenAIは最初の推論モデルからCoT監視の維持・活用に取り組んでおり、現在の研究プログラムの中核目標だ」とXで反論。AstraにおけるこのCoTは依然として解読可能な状態が維持される見込みで、同社は「neuralese」への移行という懸念を否定した。一方、The Informationの続報によると、AnthropicとGoogle DeepMindもすでにこの技術の活用を議論しているとされる。