埋め込みモデルをSTTに転用、1時間音声を13秒で文字起こし
原題: We turned EmbeddingGemma 2 into a speech-to-text model
なぜ重要か
埋め込みモデルの「意味空間」を逆用してSTTを成立させた手法は、特化型モデルを使わずに音声認識を実現する新たな設計パターンとして注目に値する。
独立系開発者チームが、GoogleのEmbeddingGemma 2（本来は埋め込みモデル）を音声認識モデルに転用した「Embedding Gemma Transcribe」をMac向けに無償公開した。ベースモデルM3搭載MacBook Air（8GB）上で1時間分の音声を約12.6秒で文字起こしでき、処理速度はリアルタイムの288倍に達する。ワード誤り率は現時点で約5%。
GoogleのEmbeddingGemma 2はテキスト・画像・音声・動画を単一の共有空間にマッピングするマルチモーダル埋め込みモデルだ。開発チームはこの特性に着目し、「声に出した単語の音声表現がテキスト表現の近傍に位置する」という性質を利用して音声認識を実装した。
仕組みはシンプルだ。EmbeddingGemma 2の音声エンコーダーはそのまま使用し、短い音声スライスをモデルのテキスト空間へマッピングする小規模な「reader」を追加学習させた。約22万9,000語の英単語の中から最近傍の単語を選ぶ方式で文字起こしを生成し、さらに小型の別モデルが句読点と大文字を付加する。学習はオープンライセンスの英語音声データのみを使用し、8枚のNVIDIA H100で2時間以内に完了したという。
速度面では同じM3 MacBook Air（8GB）上で比較した場合、IBM Granite Speech 5.0 Turbo（25.7秒）を大きく上回る12.6秒を達成。ただし精度面では現在のワード誤り率が約5%であり、主要STTモデルの2〜3%には及ばない。開発チームは「より丁寧に学習したreaderで差を縮められる」として次バージョンの開発を示唆している。
アプリはMac Neural Engine上で完全オンデバイス動作し、音声データが外部に送信されることはない。利用方法は音声ファイルのドロップイン、または右Optionキーを押しながら話すと任意のアプリへの音声入力として機能する。EmbeddingGemma 2はApache 2.0ライセンスのもとGoogle DeepMindが公開しており、今回のプロジェクトはGoogleとは無関係の独立プロジェクトだとしている。macOS 14以降・Apple Silicon必須で、モデルファイル（715MB）は初回起動時にダウンロードされる。