Les labos d'IA trichent-ils sur le benchmark du pélican ?
Original : Are AI Labs Pelicanmaxxing?
Pourquoi c'est important
Cela soulève la fiabilité des benchmarks informels face à l'optimisation ciblée des modèles.
Dylan Castillo a testé si des labos d'IA optimisaient leurs modèles pour le célèbre benchmark informel « pélican sur vélo » de Simon Willison. Il a généré 1 008 SVG sur 7 modèles frontières et les a scorés via un juge LLM. Résultat : aucune preuve de triche détectée.
Depuis plusieurs années, Simon Willison soumet à chaque nouveau grand modèle de langage le même prompt : « Génère un SVG d'un pélican sur un vélo ». Ce benchmark informel est devenu une référence populaire dans la communauté IA, notamment sur Hacker News. Face aux milliards en jeu, la question se pose : les labos optimisent-ils (« pelicanmaxxing ») leurs modèles spécifiquement pour ce test ?
Pour répondre, Dylan Castillo a conçu une grille de 48 prompts (8 animaux × 6 véhicules), dont le fameux pélican-vélo n'est qu'une cellule. Il a testé sept modèles — GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 et DeepSeek V4 Pro — via OpenRouter, à raison de 3 générations par prompt (température 1.0), soit 1 008 SVG au total. Chaque image est notée par GPT-5.6 Luna sur trois critères (animal, véhicule, cohérence de l'action, score 1-5). L'hypothèse : si un labo a entraîné sur ce benchmark, le couple pélican-vélo devrait scorer au-dessus de sa difficulté intrinsèque. L'analyse ne révèle aucun écart significatif : les images pélican-vélo ne surpassent pas les autres combinaisons. Aucune preuve de « pelicanmaxxing » n'a été trouvée.