Sanskrit詠唱TTS「Vāgdhenu」公開

原題: Vāgdhenu: A Sanskrit Chanting TTS System

なぜ重要か

Sanskrit音声合成への本格的なvṛtta対応と大規模コーパス公開は、インド古典語処理技術の実用化水準を示す成果として注目される。

インド科学大学(IISc)Bengaluru校のPrathosh AP教授が、Sanskrit(梵語)の詩節を韻律対応で詠唱音声に変換するTTSシステム「Vāgdhenu」を公開した。約5時間の専用録音コーパスで再学習したflow-matching TTSを採用し、専門家MOSスコア約4.6を達成。18,000詩節超の音声コーパスを生成済みで、コードはApache-2.0ライセンスで公開されている。

IISc BengaluruのPrathosh AP教授が開発したSanskrit詠唱TTSシステム「Vāgdhenu」が一般公開された。名称は「言葉の牛(願いを叶える牛)」を意味するSanskritに由来する。

システムの核心は、flow-matching TTSをベースに、約5時間の単話者Sanskrit詠唱コーパスで再学習した音声モデルと、同じく詠唱音域向けにfine-tuningされたneural vocoderの組み合わせだ。ベースモデルにはAI4BharatのIndicF5とNVIDIAのBigVGAN-v2(MITライセンス)を使用している。

技術的な特徴として、Sanskrit固有の音韻処理が充実している。Devanagariスクリプトで生じるヒンディー語式のschwa削除を回避するためにKannada正書法経由でルーティングするfrontend、visarga sandhiのjihvāmūlīya・upadhmānīya異音処理、気音対立、3種の歯擦音、retroflex系列の完全な区別、homorganic anusvāra、母音性ṝの処理などが実装されている。さらに韻律(vṛtta)を自動検出し、「半参照規則」により適合する参照パターンを選択するvṛtta対応機構も備える。専門家によるMOSスコアは約4.6を記録し、従来アーキテクチャが対応できなかったretroflex気音を含む密な合字も正しく合成できるとしている。

同システムはすでに大規模コーパス生成に実用されており、「Mahābhārata Tātparya Nirṇaya」32章・5,183詩節(約17.5時間)と「Śrīmad Bhāgavatam」全12巻・約18,000詩節の音声を生成済みだ。これらの音声はSanskrit詠唱練習ツール「Vāgbodhinī」やBhāgavatamの全文カラオケアプリ「Bhāgavata-VāNi」(iOS・Android・Web対応、無料・広告なし)でも活用されている。コードはApache-2.0、データはCC-BY-4.0ライセンスで公開されている。

出典

prathosh.in — 元記事を読む →