Model embedding Google diubah jadi speech-to-text
Judul asli: We turned EmbeddingGemma 2 into a speech-to-text model
Mengapa Ini Penting
Membuktikan model embedding bisa dipakai di luar fungsi aslinya dengan biaya latih minimal.
Tim independen mengubah EmbeddingGemma 2 milik Google DeepMind menjadi model speech-to-text: satu jam audio diproses dalam 12,6 detik di MacBook Air M3 base, sepenuhnya lokal.
EmbeddingGemma 2 sejatinya adalah model embedding multimodal — bukan model transkripsi. Namun tim di balik proyek ini menemukan bahwa audio sebuah kata yang diucapkan mendarat dekat dengan representasi teks kata yang sama dalam ruang vektor model tersebut. Dari situ, mereka membangun komponen kecil bernama 'reader' yang membaca tiap irisan audio pendek lalu mencocokkannya dengan kata terdekat dari sekitar 229.000 kata bahasa Inggris. Model tambahan kecil bertugas menambahkan tanda baca dan huruf kapital.
Hanya komponen reader yang dilatih ulang — prosesnya kurang dari dua jam menggunakan 8×H100 GPU, dengan data suara berbahasa Inggris berlisansi terbuka. Audio encoder asli EmbeddingGemma 2 tidak disentuh sama sekali.
Hasilnya: kecepatan 288× real time di Neural Engine MacBook Air M3 8 GB — lebih cepat dari IBM Granite Speech 5.0 TurboCTC yang mencatat ~150× pada perangkat yang sama. Word error rate saat ini sekitar 5%, masih di atas model-model terdepan yang berada di kisaran 2–3%. Aplikasi tersedia gratis untuk macOS 14+ dengan Apple Silicon, ukuran unduhan 715 MB.