AI 랩은 펠리컨 벤치마크를 조작하는가?
원제: Are AI Labs Pelicanmaxxing?
왜 중요한가
AI 랩의 벤치마크 과적합 여부를 독립적·정량적으로 검증한 사례로, 비공식 평가 지표의 신뢰성 논의에 실증적 근거를 제공한다.
Dylan Castillo는 2026년 7월, 7개 주요 AI 모델이 'SVG 동물+탈것' 조합 48종을 각 3회씩 생성한 총 1,008장의 이미지를 LLM 심사로 채점해, AI 랩이 유명 비공식 벤치마크인 '펠리컨 자전거' 프롬프트 성능을 인위적으로 높이는지('pelicanmaxxing') 분석한 실험 결과를 공개했다.
Simon Willison이 수년간 주요 LLM 출시 때마다 사용해 온 프롬프트 '자전거를 타는 펠리컨 SVG를 그려라'는 AI 분야에서 가장 잘 알려진 비공식 벤치마크로 자리잡았다. 수조 달러 규모의 이해관계가 걸린 만큼, 랩들이 이 특정 프롬프트에 과적합('benchmaxxing')했을 가능성이 커뮤니티에서 꾸준히 제기돼 왔다.
Dylan Castillo는 이를 검증하기 위해 동물 8종 × 탈것 6종 = 48개 프롬프트 격자를 구성했다. 테스트 대상은 GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2, DeepSeek V4 Pro 등 7개 모델이며, 각 프롬프트당 온도 1.0에서 3회씩 생성해 총 1,008장의 SVG를 수집했다.
평가는 3단계로 진행됐다. SVG를 PNG로 렌더링하고, GPT-5.6 Luna가 동물·탈것·동작 일관성을 각각 1~5점으로 채점했으며, Gemini 3.1 Flash-Lite가 인식된 피사체와 장면 요소를 추출했다. 렌더링 실패로 인한 재생성은 1,008건 중 11건에 불과했다.
가설은 '특정 모델이 펠리컨 행, 자전거 열, 또는 펠리컨+자전거 셀에서 난이도 대비 유독 높은 점수를 보인다면 과적합 증거'로 삼는 것이다. 그러나 저자가 이미지를 직접 육안 검토한 결과, 펠리컨+자전거 이미지가 다른 조합보다 눈에 띄게 우수한 사례를 발견하지 못했다고 밝혔다. 실험 코드는 Github에 공개돼 있다.