Laya : un moteur de décision non-autorégressif à 33 ms
Original : I built non-autoregressive decision models with RL a year ago
Pourquoi c'est important
L'inférence rapide et ouverte pour les décisions structurées remet en cause la domination des LLM génératifs coûteux.
ConvAI Innovations publie Laya, un moteur de décision System 1 open-source sous Apache 2.0. Fondé sur des encodeurs bidirectionnels et le renforcement (RLCD), il tourne en 32,8 ms sur GPU unique, supporte 100+ langues, et s'avère 6 à 8 fois plus rapide que le concurrent Jev de TypeSafe AI, lancé en septembre 2026.
Nandakishor Mukkunnoth, fondateur de ConvAI Innovations, publie Laya un an après ses premiers travaux sur les modèles de décision non-autorégressifs guidés par reinforcement learning. En mars 2025, il dépose un papier sur arXiv (arXiv:2503.23303), publie les poids sur Hugging Face et sort un package PyPI. Son modèle utilisait PPO sur des représentations de séquences pour prédire des trajectoires de conversion (probabilités 0.0–1.0) dans des conversations commerciales.
En septembre 2026, TypeSafe AI — fondée par Diogo Almeida, co-inventeur de ChatGPT chez OpenAI — lance Jev, présenté comme une avancée inédite. Même concept non-autorégressif, même RLCD, mais sans papiers techniques, sans poids ouverts, à 0,042 $ par million de tokens et avec une latence d'environ 150 ms.
En réponse, Mukkunnoth construit Laya sur des encodeurs bidirectionnels : 32,8 ms en inférence single GPU, 7,2 ms par question en batch, 100+ langues, calibration supérieure et poids 100 % open-source. L'argument central : pour des tâches de routage, de détection de spam ou de classification de priorité, utiliser un LLM génératif de 70B est un gaspillage. Laya répond à ces besoins « System 1 » avec des probabilités calibrées, sans hallucination de confiance.