Codexで232倍高速なGPUカーネルを自動研究で実現
Judul asli: Auto-research with codex: How I achieved a 232x Faster Kernel
Mengapa Ini Penting
AIエージェントによる自動カーネル最適化が実用的な高速化を実現できることを示した事例として注目される。
開発者SankalpがOpenAI Codexを活用した「自動研究」手法により、GPU ModeコンテストのQR分解問題でベースライン比232倍の高速化を達成。183人中12位に入賞した。
GPU ModeはCore Automationと共同で「自動研究」をテーマにしたコンテストを開催した。課題はバッチ処理された正方行列のコンパクトHouseholder QR分解（QR Decomposition）のCUDA実装で、183人が参加した。
開発者Sankalpは、OpenAI CodexをGPUモードで活用する「Codex-maxxing」と呼ぶアプローチで、ベースライン比232倍の高速化を実現し12位に入賞した。
同氏は、GPU Mode提供のCLIツール「popcorn」がエージェントに対応しており、テスト・ベンチマーク・リーダーボードへの提出が自動化できる点をこの問題が「自動研究向き」である理由として挙げた。
手法としては、Blocked Householderアルゴリズムによるシリアル処理の削減、FP16やFP8などの低ビット演算の内部活用、アイデアの多様性導入によるローカル最適解からの脱出などを実施。形状ごとのフィードバックを活用しながら段階的にカーネルを改善した。コンテストはGPU Modeの「Linear Algebra Kernels in the Age of Research」シリーズの一環として実施された。