非自己回帰型決断モデルを先行開発、大手が「発見」
原題: I built non-autoregressive decision models with RL a year ago
なぜ重要か
生成AIの推論コストとレイテンシを削減するSystem 1特化モデル市場の先行事例として、オープンソース対商用クローズドの競争軸を示す点で注目に値する。
ConvAI InnovationsのCEO、Nandakishor Mukkunnoth氏は2025年3月にarXiv論文（arXiv:2503.23303）を発表し、強化学習を用いた非自己回帰型決断モデルを先行開発。2026年9月にTypeSafe AIが同概念を「画期的発見」として商用化した「Jev」を発表したことを受け、同氏はオープンソースの後継モデル「Laya」を公開。T4 GPU上で32.8msという高速推論を実現し、100言語以上に対応する。
ConvAI InnovationsのファウンダーCEO、Nandakishor Mukkunnoth氏は2025年3月、強化学習（PPO）を使った非自己回帰型の確率予測モデルをarXivで発表した。このモデルはテキストを生成せず、構造化スキーマ上の確率分布を高速出力する設計で、SaaS営業会話の成約確率を0.0〜1.0でターンごとに推定するデモも公開。HuggingFaceにモデル重み、PyPIにパッケージ、オープンデータセットも公開し、Reddit（r/LocalLLaMA）でも広く紹介した。
同氏は2025年10月に第2論文（arXiv:2510.01237）で強化学習によるスキーマ誘導決断フレームワークを定式化。ところが2026年9月、OpenAIでChatGPTの共同発明者でもあるDiogo Almeida氏が創業したTypeSafe AIが「Jev」を発表。RLCDという手法（Reinforcement Learning for Calibrated Decisions）で信頼度分布とスキーマ選択を並列サンプリングする、事実上同一の概念を「突破口」として打ち出した。Jevは技術論文も公開重みもオープンデータセットも持たず、入力100万トークンあたり0.042ドル・応答時間150ms程度の商用APIとして展開されている。
Mukkunnoth氏は批判に留まらず、アーキテクチャの根本から再設計し「Laya」としてリリースした。双方向エンコーダーベースのLayaはT4 GPU上で32.8ms（バッチ処理時7.2ms/問）を達成し、Jevと比べ6〜8倍高速。100言語以上に対応し、Apache 2.0ライセンスで完全公開されている。APIサブスクリプションコストはゼロだ。
Mukkunnoth氏が指摘する問題の本質はアーキテクチャの過剰設計にある。チケットルーティング、スパム判定、プロンプトインジェクション検知、緊急度分類といった「反射的な構造化決断」にわざわざ8Bや70Bの生成型LLMを使う現状は、500ms〜2秒のレイテンシと高いコストを生む。LLMが出力する「confidence: 0.95」はトークン予測に過ぎず、真の確率ではない。Layaはこの問題を解決するSystem 1特化モデルとして設計されている。