Un modèle d'embedding transformé en outil STT
Original : We turned EmbeddingGemma 2 into a speech-to-text model
Pourquoi c'est important
Démontre qu'un modèle non conçu pour la STT peut y exceller avec un entraînement minimal.
Des développeurs indépendants ont converti EmbeddingGemma 2 de Google DeepMind en modèle speech-to-text. Résultat : une heure d'audio transcrite en 12,6 secondes sur un MacBook Air M3 de base, entièrement en local.
EmbeddingGemma 2 est un modèle multimodal d'embedding — texte, images, audio et vidéo dans un espace vectoriel partagé. L'idée de départ est simple : si un mot prononcé à voix haute atterrit proche de sa forme écrite dans cet espace, pourrait-on lire directement les transcriptions depuis cet espace ? La réponse est oui. L'équipe a conservé l'encodeur audio d'origine intact. Un petit module supplémentaire — le seul composant entraîné — projette chaque tranche audio dans l'espace textuel du modèle. Le mot le plus proche parmi environ 229 000 mots anglais est sélectionné, et un micro-modèle annexe ajoute ponctuation et majuscules. L'entraînement n'a nécessité que deux heures sur 8×H100, avec des données audio sous licence ouverte. Le taux d'erreur sur les mots (WER) atteint environ 5 %, contre 2 à 3 % pour les meilleurs modèles actuels. L'application Mac (gratuite, macOS 14+, Apple Silicon) tourne sur le Neural Engine : l'audio ne quitte jamais l'appareil. Il est possible de glisser un fichier audio ou de dicter via un raccourci clavier. Le projet est indépendant et non affilié à Google.