Mistral、単眼カメラ対応ロボット航法モデル「Robostral Navigate」発表
Judul asli: Mistral's Robostral Navigate: a state of the art robotics navigation model
Mengapa Ini Penting
単眼カメラのみで多センサー方式を超えた性能は、低コストなロボット普及を加速させる可能性がある。
Mistral AIは8BパラメータのロボットナビゲーションモデルRobostral Navigateを発表。単一RGBカメラのみでR2R-CEベンチマーク76.6%を達成し、マルチセンサー方式を上回った。
Mistral AIは、ロボット向け自律航法モデル「Robostral Navigate」を発表した。パラメータ数8Bのこのモデルは、1台の通常RGBカメラと自然言語の指示のみを入力とし、オフィス・住宅・商業施設・屋外など複雑な環境をロボットが自律移動できるようにする。
「ロビーを出て廊下を歩き、倉庫室に入り、2番目の棚の前で止まれ」といった長距離指示にも対応する。深度センサーやLiDAR、複数カメラを必要とする従来モデルと比較し、単眼カメラのみで動作しながら、環境認識ベンチマーク「R2R-CE（Room-to-Room in Continuous Environments）」の未見環境評価で76.6%を達成。最優秀の単眼カメラ手法を9.7ポイント、深度センサーや複数カメラを使うシステムを4.5ポイント上回った。
モデルは全てMistral社内で開発され、シミュレーションデータとトークン効率化技術を活用。ポインティングベースの航法と強化学習を組み合わせ、訓練時に未見の実世界障害物にも適応できる汎用性を持つ。異なるロボットタイプへの展開も想定されている。