125Mパラメータモデルでピアノ自動補完をiPhoneで実現
Judul asli: Show HN: I trained a 125M model to autocomplete piano on-device
Mengapa Ini Penting
小型モデルでのオンデバイスAI音楽生成の実用化事例として、エッジAI応用の可能性を示す。
Simon Edwardsonが125Mパラメータのトランスフォーマーモデルを訓練し、iPhone 15で毎秒約108音のリアルタイムピアノ自動補完を実現。アプリ「RollTab」を無料公開。
Simon Edwardsonは約1年の開発期間と14回の実験を経て、MIDIピアノをリアルタイムで自動補完する125Mパラメータのトランスフォーマーモデルを完成させた。コンセプトはGitHub Copilotのピアノ版で、演奏途中から曲を自動的に続けるものだ。
モデルの精度向上に最も貢献した要素は3点：MIDIの適切なトークン表現の選択、トレーニングデータの徹底的なクリーニング、そしてDPO（Direct Preference Optimization）によるポストトレーニングだ。
トークン表現については複数の方式を試した。NOTE_ON/NOTE_OFFを分離する方式はノートオフの発行漏れによる音の伸び続け問題が発生。NOTE・PITCH・VELOCITY・DURATIONを組み合わせる方式は音楽的に優れていたが、1音につき4ステップ必要でコンテキストウィンドウの消費が速かった。最終的にはNOTE(pitch, delta_onset, duration, velocity)という統合表現を採用し、1音を1トークンで表現することで速度と品質を両立した。
生成デモにはポケモン「パレットタウン」、ファイナルファンタジーVI「テラのテーマ」、「エリーゼのために」などが公開されている。アプリ「RollTab」はMIDIキーボードを持つiPhone・iPad向けに無料で提供されている。