Laya: 非自己回帰型決定モデルをRL実装
Judul asli: I built non-autoregressive decision models with RL a year ago
Mengapa Ini Penting
非自己回帰型決定モデルが実用速度・低コスト・オープンで実現できると示した先例。
ConvAI InnovationsのNandakishor Mukkunnothが2025年3月にRL搭載の非自己回帰型決定モデルを公開。1年後にTypeSafe AIが類似概念を「突破口」として発表したことを受け、オープンソースのLayaを開発・公開した。
ConvAI InnovationsのFounder兼CEOであるNandakishor Mukkunnothは、2025年3月にarXiv（arXiv:2503.23303）で非自己回帰型決定モデルの論文を発表し、Hugging Faceにモデルの重みを公開、PyPIパッケージもリリースした。このモデルはPPOを用いてシーケンス表現を強化学習し、販売会話における変換確率（0.0〜1.0）をターンごとに出力するものだった。
2026年9月、ChatGPT共同発明者であるDiogo Almeida氏が設立したTypeSafe AIが「Jev」を発表。同じ非自己回帰型の概念をもとにRLCD（Reinforcement Learning for Calibrated Decisions）を採用し、入力トークン100万件あたり$0.042、平均応答時間150msで提供した。ただし技術論文・オープンウェイト・訓練データセットは非公開だった。
これを受けてMukkunnothは双方向エンコーダーベースのオープンモデル「Laya」を構築。シングルGPUで32.8ms（バッチ処理時7.2ms/質問）で動作し、Jevの6〜8倍高速。100以上の言語に対応し、Apache 2.0ライセンスで完全公開。APIサブスクリプション費用は不要。チケット振り分けやスパム検出、プロンプトインジェクション検知など構造化された判断タスクを、大規模生成LLMを使わずに処理できる点が強みとされている。