4BモデルがPostgresより81%速いクエリプランを生成
원제: Training a 4B model to produce 81% faster query plans than Postgres
왜 중요한가
소형 오픈소스 모델이 수십 년 묵은 데이터베이스 최적화 한계를 강화학습으로 돌파할 수 있다는 가능성을 구체적 수치로 제시한 사례다.
개발자 Rohan Bansal이 2026년 9월 16일 공개한 연구에서, 40억 파라미터의 Qwen 모델을 지도 미세조정(SFT)과 에이전틱 강화학습(RL)으로 학습시켜 PostgreSQL 기본 쿼리 플래너보다 최대 81% 빠른 실행 계획을 생성하는 데 성공했다. 113개 조인 집약 쿼리에서 레이턴시를 평균 44.7% 줄였다.
이번 실험의 핵심은 쿼리 최적화를 검증 가능한 보상 신호 문제로 재정의한 것이다. 쿼리 플랜의 품질은 실행 시간으로 단순하게 측정할 수 있으므로, 강화학습에 적합한 구조를 갖는다.
학습 파이프라인은 두 단계로 구성됐다. 먼저 오프-폴리시 증류 방식의 SFT로 4B 모델이 쿼리 힌트 문법을 이해하도록 훈련했다. 초기에는 113개 테스트 쿼리 중 99개에 대해 유효한 플랜조차 생성하지 못했다. 이후 GRPO의 커스텀 변형을 사용한 에이전틱 RL 단계에서 모델은 각 쿼리에 대해 복수의 힌트 전략을 생성하고, 이를 실제 Postgres 인스턴스에서 측정해 보상을 역전파하는 방식으로 학습했다.
벤치마크는 Join Order Benchmark(JOB)와 Cardinality Estimation Benchmark를 사용했다. 노이즈 최소화를 위해 Linux 페이지 캐시 경합을 억제하는 커스텀 Postgres 측정 리그를 구성했으며, RL 학습은 vLLM 추론 서버와 트레이너를 두 개의 별도 머신에 분산해 처리했다.
2015년과 2025년 Leis 등의 연구는 10년이 지나도 쿼리 옵티마이저가 여전히 최적이 아닌 플랜을 생성한다고 지적했다. 조인 순서 결정은 NP-hard 문제로 알려져 있으며, 기수 추정 오류가 누적될수록 최적화 성능이 급격히 저하된다. 이번 실험은 소형 오픈웨이트 모델이 이 문제를 실용적 수준에서 우회할 수 있음을 보여준다.