Transformerに3つの投影は必要か？QKV変種の体系的研究
原題: Do transformers need three projections? Systematic study of QKV variants
なぜ重要か
Transformerの効率化技術として、メモリ使用量を大幅削減しながら性能を維持する手法を提示。エッジデバイスでのAI展開を促進する重要な技術進歩。
研究者らがTransformerのクエリ、キー、バリュー投影の必要性を検証。Q-K=V共有により50%のKVキャッシュ削減を実現し、言語モデリングで困惑度の劣化は3.1%に留まった。複数の合成タスク、視覚、言語モデリング実験で標準QKVと同等性能を確認した。
Ali Kayyamらの研究チームが、Transformerアーキテクチャの中核となるクエリ・キー・バリュー（QKV）注意機構について体系的に分析した。従来のTransformerは3つの独立した投影を使用するが、この研究では投影共有の3つの制約を評価した：a) Q-K=V（キー・バリュー共有）、b) Q=K-V（クエリ・キー共有）、c) Q=K=V（単一投影）。
MNIST、CIFAR、TinyImageNet、異常検知などの視覚タスクと、100億トークンでの3億・12億パラメータの言語モデリング実験を実施した。その結果、提案手法は標準QKV Transformerと同等またはそれ以上の性能を示した。
特に言語モデリングにおいて、Q-K=V投影共有は困惑度の劣化をわずか3.1%に抑えながら、KVキャッシュを50%削減した。さらに、この手法はGQA/MQAヘッド共有と組み合わせ可能で、Q-K=VとGQA-4の組み合わせで87.5%、MQAとの組み合わせで96.9%のキャッシュ削減を実現し、エッジデバイスでの推論を実用的にした。
研究では、キーとバリューが類似した表現空間を占有でき、注意機構が低ランク領域で動作するためQ-K=Vが品質を保持する一方、Q=K-Vは注意の方向性を破壊することを明らかにした。この成果は注意機構における重み共有の未開拓領域を体系的に特徴付け、エッジ展開に特に価値がある定量的な推論メモリ利益を示している。