AIラボはペリカン評価を不正操作しているか
原題: Are AI Labs Pelicanmaxxing?
なぜ重要か
ベンチマーク汚染の有無を独立した手法で検証する試みは、AI評価の信頼性確保という業界課題に直接関わる取り組みとして意義がある。
ブロガーのDylan Castilloは、AIラボが非公式ベンチマーク「ペリカンが自転車に乗るSVG生成」で意図的に性能を向上させているかを検証した。7つのフロンティアモデルで1,008枚のSVGを生成・評価した結果、2026年7月に分析結果を公開した。対象モデルはGPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5など。
Simon Willisonが数年前から続けてきた「ペリカンが自転車に乗るSVGを生成せよ」というプロンプトによる非公式ベンチマークは、Hacker NewsのAI関連スレッドで最も注目を集めるコメントの一つとなるほど有名になった。このベンチマークが広く知られるようになったことで、AIラボがこのテストに特化した訓練（いわゆる「pelicanmaxxing」）を行っている可能性を疑う声も出ていた。
Dylan Castilloはこの疑問を検証するため、8種の動物×6種の乗り物＝48種類のプロンプトを設計し、ペリカン・自転車の組み合わせをその一つとして組み込んだ。動物はペリカン・フラミンゴ・サギ・カワウソ・アライグマ・アンテロープ・クジラ・ネコ、乗り物は自転車・一輪車・スケートボード・スクーター・飛行機・ボートを採用。各プロンプトにつき温度1.0で3サンプルを生成し、合計1,008枚のSVGを取得した。
評価はGPT-5.6 Lunaを審査モデルとして使用し、動物・乗り物・動作の一貫性をそれぞれ1〜5点で採点。さらにGemini 3.1 Flash-Liteで画像の特徴抽出も実施した。
結果として、ペリカンの行や自転車の列が他の動物・乗り物と比べて突出して高いスコアを示す証拠は見つからなかった。ペリカン×自転車の組み合わせが他の組み合わせより明らかに優れているとも判断できなかった。CastilloはコードをすべてGitHubで公開しており、分析にはClaude Fable 5を使用している。今回の実験にはいくつかの限界もあると明記されており、動物・乗り物の選定が厳密な方法論に基づくものではない点も認めている。