Codex で QR 分解カーネルを232倍高速化
Original : Auto-research with codex: How I achieved a 232x Faster Kernel
Pourquoi c'est important
LLMエージェントによるGPUカーネル最適化の実用的な可能性を実証した事例。
開発者のSankalpは、GPU ModeとCore Automationが共催したauto-researchコンテストで、Codexを活用してバッチ処理QR分解カーネルの232倍高速化を達成。183人中12位に入賞した。
GPU ModeとCore Automationは、自動研究をテーマにしたコンテストを開催した。課題はバッチ処理正方行列のコンパクトHouseholder QR分解の実装で、512×512から4096×4096までのFP32 CUDA行列が対象。エンジニアのSankalpは、OpenAIのCodexエージェントをpopcorn CLIと組み合わせ、テスト・ベンチマーク・リーダーボードへの提出を自動化するループを構築した。ブロック化Householderアルゴリズムによるシリアル処理の最小化、アイデア多様性の導入によるローカル最大値からの脱出、FP16/FP8など低ビット精度の内部活用といった手法を駆使し、最終的にベースライン比232倍の速度向上を達成。同氏はこのアプローチを「ループエンジニアリング」とも呼べると述べており、数学的な深い理解がなくても自動研究ループが有効に機能することを示した。コンテストページとリーダーボードは公開されている。