GPT-6 Astra, 실제 차량 코스 완주 성공
원제: GPT-6 Astra has gained the ability to drive a car
왜 중요한가
실제 차량에 LLM을 연결한 물리적 주행 벤치마크로, AI의 실세계 제어 능력을 정량적으로 비교하는 새로운 평가 기준이 될 수 있다.
독립 연구팀 DrivingBench가 Toyota Corolla를 활용한 실제 주행 벤치마크를 공개했다. GPT-6 Astra(Codex medium)는 3번의 시도 중 2번째 시도에서 콘 코스 100%를 5분 22초에 완주했으며, Claude Fable 5.1은 45%, Grok 4.6은 11%에 그쳤다.
Aditya Ramabadran, Simon Mahns, Tobias Gessler 등 세 연구자가 공동 개발한 DrivingBench는 AI 모델에 Toyota Corolla의 조향·가속·제동을 직접 제어하게 한 뒤, 고정된 콘 코스를 얼마나 완주하는지 측정하는 벤치마크다. 동일한 대화 컨텍스트 안에서 최대 3회 시도가 허용된다.
리더보드 1위는 GPT-6 Astra(Codex medium)다. 1차 시도에서 49%까지 진행하다 실패했지만, 2차 시도에서 100% 완주에 성공했다. 이때 이동 거리는 134.7m, 허용된 명령(set_motion·stop_now) 수는 24회, 사용 토큰은 6.6M, 비용은 약 7.74달러였다.
2위 Claude Fable 5.1(Claude Code medium)은 3회 시도 최고 기록이 45%에 불과했고, xAI의 Grok 4.6(Cursor medium)은 최고 11%를 기록했다. OpenAI의 또 다른 모델인 GPT-5.6 Sol(Codex medium)은 3회 모두 6% 수준에 머물렀다.
평가 기준은 코스 중심선 기준 4m 이내 유지 비율이며, 충돌 시에는 충돌 직전까지의 진행률이 기록된다. 연구팀은 논문과 평가 트레이스, 영상을 공개했으며, 추가 모델 평가는 team@drivingbench.com으로 문의하면 된다.