Mistral lance Robostral Navigate, modèle de navigation robotique
Original : Mistral's Robostral Navigate: a state of the art robotics navigation model
Pourquoi c'est important
Robostral Navigate ouvre la voie à des robots navigants low-cost sans capteurs coûteux.
Mistral AI a présenté Robostral Navigate, un modèle 8B permettant à des robots de naviguer de façon autonome dans des environnements complexes avec une seule caméra RGB ordinaire, sans capteur de profondeur. Il atteint 76,6 % sur le benchmark R2R-CE, surpassant les systèmes multi-capteurs.
Mistral AI a annoncé Robostral Navigate, son premier modèle dédié à la navigation embarquée (embodied navigation). Ce modèle de 8 milliards de paramètres reçoit en entrée des images RGB et une instruction en langage naturel — par exemple : « Quitte le hall, traverse le couloir, entre dans la salle de stockage et arrête-toi face à la deuxième étagère » — et guide un robot à travers l'environnement correspondant.
Là où la plupart des systèmes concurrents recourent à des capteurs de profondeur, du LiDAR ou plusieurs caméras simultanées, Robostral Navigate fonctionne avec une seule caméra RGB standard. Malgré cette contrainte matérielle, il obtient un score de 76,6 % sur le benchmark R2R-CE (Room-to-Room in Continuous Environments) en environnement non vu lors de l'entraînement. Ce résultat dépasse de 9,7 points la meilleure approche monocaméra existante, et de 4,5 points les meilleurs systèmes utilisant la profondeur ou plusieurs caméras.
Le modèle a été développé entièrement en interne, en s'appuyant sur des données simulées et des techniques d'efficacité tokenique. Il combine navigation par pointage et apprentissage par renforcement pour une amélioration continue, se généralise à différents types de robots et s'adapte à des obstacles réels non présents lors de l'entraînement.