Embedding मॉडल से Speech-to-Text बनाया
मूल शीर्षक: We turned EmbeddingGemma 2 into a speech-to-text model
यह क्यों महत्वपूर्ण है
Embedding मॉडल को बिना पुनः प्रशिक्षण के speech-to-text में बदलना on-device AI की नई संभावना दिखाता है।
डेवलपर्स ने Google DeepMind के EmbeddingGemma 2 को Speech-to-Text मॉडल में बदला। base M3 MacBook Air पर 1 घंटे का ऑडियो मात्र 12.6 सेकंड में ट्रांसक्राइब होता है। यह Mac-only फ्री ऐप पूरी तरह on-device चलता है।
EmbeddingGemma 2 मूलतः Google DeepMind का multimodal embedding मॉडल है — text, images, audio और video को एक साझा space में रखता है। इसी खासियत का फायदा उठाते हुए एक स्वतंत्र टीम ने इसे speech-to-text के लिए तैयार किया।
तकनीकी तरीका सीधा है: मॉडल का audio encoder जस का तस रखा गया। एक छोटा 'reader' नेटवर्क ऑडियो के हर छोटे हिस्से को text space में ले जाता है, फिर करीब 2,29,000 अंग्रेज़ी शब्दों में से सबसे नज़दीकी शब्द चुना जाता है। एक अलग छोटा मॉडल punctuation और capitals जोड़ता है। सिर्फ यही reader trained किया गया — 8×H100 GPU पर दो घंटे से कम में, openly licensed English speech data पर।
गति के मामले में यह प्रभावशाली है: base M3 MacBook Air (8 GB) पर Neural Engine के ज़रिए 288× real-time स्पीड, यानी 1 घंटे का ऑडियो 12.6 सेकंड में। तुलना में IBM Granite Speech 5.0 TurboCTC उसी मशीन पर 25.7 सेकंड लेता है।
Word Error Rate अभी करीब 5% है, जबकि अग्रणी speech मॉडल 2-3% पर हैं। टीम का कहना है बेहतर trained reader से यह अंतर कम किया जा सकता है। ऐप macOS 14+ और Apple Silicon पर चलता है, 715 MB डाउनलोड, और ऑडियो कभी डिवाइस नहीं छोड़ता। यह Google से असंबद्ध स्वतंत्र प्रोजेक्ट है।