GPT-6がコースを完走、実車運転ベンチマーク公開

原題: GPT-6 Astra has gained the ability to drive a car

なぜ重要か

テキスト処理を超えてAIが物理空間の車両を制御できるか否かを実証する初期事例として、エージェント型AIの実世界応用可能性を測る指標になりうる。

研究プロジェクト「DrivingBench」は、フロンティアモデルにToyota Corollaのステアリング・アクセル・ブレーキを実際に操作させ、固定コーンコースで評価するベンチマークを公開した。GPT-6 Astraは2回目の試みでコース100%を5分22秒で完走。他モデルは最高45%止まりで、性能差が明確に出た。

Aditya Ramabadran、Simon Mahns、Tobias Gesslerの3名が公開した「DrivingBench」は、AIモデルに実車を走らせて評価するベンチマークだ。Toyota Corollaを使い、コーンで設定した固定コースを走破できるか、最大3回の連続チャット内で試みさせる。評価指標は「コース中心線に対してどこまで進めたか(コースアウト判定は中心線から4m超)」と完走タイム。

結果、GPT-6 Astra(Codexエージェント・mediumモード)が唯一コースを完走。1回目は49%でDNF(コース離脱)だったが、同一チャットを引き継いだ2回目で100%・5分22秒を達成した。消費トークンは2回合計で約780万、費用はリスト価格換算で約9.75ドル。

他モデルの成績は厳しい。Claude Fable 5.1(Claude Codeエージェント)は3回試みて最高45%、Grok 4は11%、GPT-5.6 Solは3回とも6%前後に留まった。GPT-6とその他モデルの間には大きな断差がある。

ベンチマークの仕組みとして、モデルは「set_motion」コマンドでステアリング角・速度を指定し、「stop_now」で停止を命じる。最初のset_motion受諾からエンゲージメント終了までが計測対象で、GPS速度積分で走行距離も算出される。衝突が起きた場合、衝突直前の進捗率が記録として残る。

プロジェクトはGitHubで公開されており、評価トレースと走行動画も閲覧可能。研究ソフトウェアとして位置付けられており、商用自動運転との直接比較は現時点で想定されていない。

出典

drivingbench.com — 元記事を読む →