Un modèle 125M paramètres pour compléter le piano en temps réel
Original : Show HN: I trained a 125M model to autocomplete piano on-device
Pourquoi c'est important
Démontre la viabilité de modèles génératifs musicaux performants sur appareils mobiles grand public.
Simon Edwardsson a entraîné un transformer de 125 millions de paramètres capable d'autocompléter des performances de piano en temps réel (~108 notes/sec sur iPhone 15). L'application RollTab est disponible gratuitement pour iPhone et iPad avec un clavier MIDI.
Simon Edwardsson a publié le bilan de près d'un an de développement autour d'une idée simple : connecter un piano MIDI à un smartphone et laisser une IA compléter la mélodie jouée, à la manière de GitHub Copilot pour la musique. Après 14 expériences successives, le projet aboutit à un modèle transformer de 125M paramètres fonctionnant entièrement sur appareil (on-device). Les améliorations les plus significatives sont venues de trois facteurs : le choix de la représentation MIDI, un nettoyage agressif des données d'entraînement, et l'ajout d'un post-entraînement par DPO (Direct Preference Optimization). Sur le plan technique, plusieurs représentations de tokenisation MIDI ont été testées. La version finale retenue encode chaque note sous la forme NOTE(pitch, delta_onset, duration, velocity), évitant ainsi la dérive des note-off et la consommation excessive de la fenêtre de contexte. Le modèle atteint une vitesse de génération d'environ 108 notes par seconde sur iPhone 15. Des démonstrations audio incluent des continuations de thèmes de Pokémon, Final Fantasy VI et Für Elise. L'application RollTab est disponible gratuitement sur iPhone et iPad pour les utilisateurs disposant d'un clavier MIDI.