임베딩 모델로 음성인식 구현
원제: We turned EmbeddingGemma 2 into a speech-to-text model
왜 중요한가
임베딩 모델의 벡터 공간을 재활용해 별도 STT 훈련 없이 온디바이스 음성인식을 구현한 접근법은 소형 모델 활용 가능성을 넓힌다.
독립 개발팀이 Google DeepMind의 멀티모달 임베딩 모델 EmbeddingGemma 2를 음성-텍스트 변환 모델로 전환하는 데 성공했다. M3 MacBook Air에서 1시간 분량 오디오를 약 12.6초 만에 처리하며, 모든 연산이 기기 내 Neural Engine에서 완결된다. Mac용 무료 앱 v1.6이 공개됐다.
EmbeddingGemma 2는 텍스트·이미지·오디오·영상을 하나의 공유 공간에 매핑하는 멀티모달 임베딩 모델이다. 개발팀은 이 구조에서 핵심 아이디어를 발견했다. 말로 발음한 단어의 오디오 벡터가 해당 단어의 텍스트 벡터와 인접하게 배치된다는 점이다.
구현 방식은 간결하다. EmbeddingGemma 2의 오디오 인코더는 그대로 유지하고, 짧은 오디오 조각을 텍스트 공간으로 이동시키는 소형 '리더(reader)' 모델만 새로 훈련했다. 리더가 각 조각을 텍스트 공간에 투영하면, 약 22만 9,000개 영어 단어 중 가장 가까운 단어를 선택해 텍스트로 출력한다. 별도의 소형 모델이 구두점과 대소문자를 보정한다. 리더 학습에는 8×H100 GPU로 2시간 미만이 소요됐으며, 공개 라이선스 영어 음성 데이터만 사용했다.
속도 면에서는 M3 MacBook Air 기준 실시간 대비 288배(1시간 오디오→12.6초)를 기록했다. 같은 기기에서 IBM Granite Speech 5.0 Turbo는 약 150배(25.7초)였다. 단어 오류율(WER)은 현재 약 5%로, 주요 음성인식 모델의 2~3%에 비해 다소 높다. 개발팀은 리더 모델 개선을 통해 격차를 줄일 수 있다고 밝혔다.
사용법은 오디오 파일 드롭인, 또는 오른쪽 Option 키를 누른 채 말하면 어느 앱에서나 받아쓰기가 가능하다. 오디오 데이터는 기기 밖으로 전송되지 않는다. 앱은 macOS 14 이상, Apple Silicon 환경에서 무료로 제공된다. EmbeddingGemma 2는 Apache 2.0 라이선스로 공개됐으며, 이 프로젝트는 Google과 무관한 독립 작업이다.