OpenAI「Astra」の新技術が安全専門家に警戒感
Original : OpenAI’s new reasoning technique alarms AI safety experts
Pourquoi c'est important
AI推論の透明性・監視可能性は業界全体の安全基準に関わる重要課題。
OpenAIの新モデル「Astra」が「recurrent depth（opaque recurrence）」という推論技術を採用すると報じられ、AIの思考過程の監視が困難になるとして、AI安全の専門家らが強い懸念を示している。AnthropicとGoogle DeepMindも同技術を検討中とされる。
The Informationの報道によると、OpenAIの新モデル「Astra」は「recurrent depth」（不透明な再帰処理とも呼ばれる）という推論技術を採用する。通常の推論モデルは逐次的な思考の連鎖（Chain of Thought、CoT）を生成するが、この技術では同じクエリを複数回ループ処理するため、追跡可能な思考記録が残りにくくなる。Redwood ResearchのCEO、Buck Shlegerisは「Astraがopaque recurrenceを使用するとの報告に強く懸念している。この技術を推し進めれば、CoTの監視可能性が完全に失われる恐れがある」と警告。AI安全の論客Zvi Mowshowitzも「この技術は火遊びであり、OpenAIとAnthropicが確立しようとしてきたCoTの忠実性と監視可能性という規範を損なう」と述べ、業界の「底辺への競争」を防ぐ法整備の必要性を示唆した。OpenAIのチーフサイエンティスト、Jakub Pachockiは、同社が最初の推論モデルからCoT監視を重視しており、Astraでも引き続き思考過程の可読性を維持すると強調した。一方、The Informationの続報では、AnthropicとGoogle DeepMindもすでに同技術の採用を議論していると伝えられている。