125Mパラメータモデルでピアノをリアルタイム自動補完
原題: Show HN: I trained a 125M model to autocomplete piano on-device
なぜ重要か
125Mパラメータという小規模モデルをスマートフォン上でリアルタイム推論可能にした事例として、エッジAIと音楽生成技術の実用化可能性を示す。
開発者のSimon Edwardsson氏は、125Mパラメータのtransformerモデルを用いてピアノ演奏をリアルタイムに自動補完するシステムを構築した。iPhone 15上で約108音符/秒の速度で動作し、無料アプリ「RollTab」としてiPhone・iPad向けに公開済み。14回の実験を経て完成した。
Simon Edwardsson氏は約1年にわたる開発の末、MIDIピアノの演奏をAIがリアルタイムで続きを補完する仕組みを完成させた。コンセプトはGitHub CopilotのピアノAI版であり、ユーザーが弾いた短いフレーズをもとにモデルが続きを生成する。
最大の技術的課題はMIDIイベントのトークン化方法だった。最初に試みたNOTE_ON/NOTE_OFFスタイルの表現では、モデルがNOTE_OFFの発行を忘れて音が鳴りっぱなしになる「ドリフト」問題が頻発した。次に試みた「NOTE＋PITCH＋VELOCITY＋DURATION」形式はドリフトを解消したものの、1音符につき4ステップの自動回帰推論が必要となり速度と文脈ウィンドウの消費が問題になった。
最終的に採用したのは「NOTE(pitch, delta_onset, duration, velocity)」という単一トークン形式で、TIME_SHIFTトークンを不要にしている。これにより推論効率が大幅に改善した。
精度向上に貢献した要因として氏は、（1）MIDIトークン表現の最適化、（2）学習データの徹底的なクリーニング、（3）DPO（Direct Preference Optimization）による事後学習の3点を挙げている。モデルはポケモン「マサラタウンのテーマ」やFinal Fantasy VIの「テラのテーマ」、「エリーゼのために」など著名曲の補完サンプルを公開しており、8〜16音符のプロンプトから自然な続きを生成できることを実証している。
アプリ「RollTab」はMIDIキーボードとiPhone/iPadを持つユーザー向けに無料で提供されており、デバイス上でオンプロセス推論が完結する設計となっている。