피아노 자동완성 125M 모델을 온디바이스로 구현
원제: Show HN: I trained a 125M model to autocomplete piano on-device
왜 중요한가
소형 언어 모델의 온디바이스 추론이 음악 생성 영역으로 확장되며, 엣지 AI 응용 가능성을 실증한 사례로 주목된다.
개발자 Simon Edwardsson은 2026년 8월 20일, 125M 파라미터 트랜스포머 모델을 학습시켜 iPhone 15에서 초당 약 108개 음표를 처리하는 실시간 피아노 자동완성 앱 'RollTab'을 공개했다. MIDI 표현 방식 최적화, 학습 데이터 정제, DPO 사후 학습이 품질 향상의 핵심 요인이었다.
Simon Edwardsson은 MIDI 키보드를 연결한 iPhone에서 피아노 연주를 실시간으로 자동완성하는 시스템을 약 1년에 걸쳐 14차례 실험 끝에 완성했다. 최종 앱 'RollTab'은 iPhone·iPad용으로 무료 제공되며, MIDI 키보드가 있으면 누구나 사용할 수 있다.
모델 학습의 핵심 과제는 MIDI 이벤트를 트랜스포머가 처리할 수 있는 토큰 시퀀스로 변환하는 방식이었다. 초기의 NOTE_ON/NOTE_OFF 방식은 모델이 음표 종료 이벤트를 누락하거나 음이 걸리는 문제가 발생했다. 이후 NOTE+DURATION 방식을 시도했지만, 하나의 음표에 약 4번의 자동회귀 스텝이 필요해 속도와 컨텍스트 창 효율이 낮았다.
최종적으로 채택한 표현 방식은 'NOTE(pitch, delta_onset, duration, velocity)'로, 각 음표를 단일 토큰으로 인코딩해 추론 속도와 컨텍스트 효율을 동시에 확보했다. 여기에 학습 데이터를 공격적으로 정제하고, DPO(Direct Preference Optimization) 사후 학습을 적용함으로써 음악적 품질을 크게 끌어올렸다. 시연 샘플로는 포켓몬 팔렛타운, 파이널 판타지 VI Terra's Theme, 엘리제를 위하여 등의 자동완성 결과가 공개됐다.