音声のみで学習した会話AI「Dessa」登場
原題: Dessa: Conversation Model trained only on speech
なぜ重要か
テキスト依存を排除した音声ネイティブモデルは、音声AIの感情理解・自然性における根本的な限界を突破しうるアプローチとして業界的な意義が大きい。
Block傘下のDessaは、テキストや事前学習済みモデルを一切使わず、人間の会話音声だけで訓練した音声対話AIモデル「Dessa」を発表した。完全なspeech-to-speechモデルとして感情・笑い・ため息などを音声のまま処理し、Apple MacBook Pro M4 Max以上の環境でリアルタイムよりも高速にローカル推論が可能。現在waitlist登録を受け付けている。
Dessaは「音声から音声へ」を徹底したAI会話モデルだ。従来の音声AIが「音声→テキスト変換→大規模言語モデル→音声合成」というパイプラインを取るのに対し、Dessaは入力も出力もすべて音声波形で処理する。テキストへの変換を挟まないため、感情・抑揚・笑い・ため息・声の震えといった情報が失われない。
最大の特徴は学習データの純粋さだ。テキストコーパスも事前学習済みモデルも使わず、人間同士の会話録音だけでゼロから訓練した。開発チームによれば、LLMが必要とするテキスト量の「数百分の一」の言語情報量でも言語を習得できたという。その代わり、アクセント・間・呼吸・皮肉・ユーモア・割り込みのタイミングなど、テキストには存在しない情報も同時に学習している。
アーキテクチャはfull-duplex設計を採用。人間のように「話しながら聞く」ことができ、「yeah!」「got it!」などのバックチャネル応答も自然なタイミングで返す。推論速度はリアルタイムより高速で、MacBook Pro M4 Maxでローカル動作する。
公開されたデモ音声では、会話の途中で笑い声を挟む場面、相手が思い出せない映画タイトルを補完する場面、「oh my god」と息を飲む場面などが収録されており、感情表現の豊かさが確認できる。ChatGPT Liveとの対話デモも公開された。
DessaはBlock（Square、Cash Appの親会社）の研究部門が開発しており、研究者向けに「テキストと比較した言語・事実学習の効率」「多言語習得速度」「in-context learningの可能性」といった新しい問いを提示している点も注目される。