LLM local : pourquoi il semble moins performant
Original : Why your local LLM feels dumber than it is
Pourquoi c'est important
Comprendre ces écarts est clé pour évaluer objectivement les LLM open source en local.
Un article technique publié sur Level1Techs Forums le 16 août 2026 explique pourquoi les LLM exécutés localement semblent moins performants que leur réputation. La cause principale réside dans les différences matérielles, logicielles et de quantification entre l'implémentation de référence du laboratoire et celle de l'utilisateur.
L'auteur, thr3e, décrit une série d'expériences pour illustrer ce qu'il appelle des « hazards d'implémentation » lors de l'inférence locale. Chaque configuration matérielle — notamment les GPU de générations différentes avec des jeux d'instructions distincts — calcule les logits (scores de probabilité des tokens suivants) de façon légèrement ou très différente par rapport à l'implémentation de référence du laboratoire ayant publié le modèle. Ces écarts se mesurent via la KL Divergence (KLD), qui quantifie le déplacement d'une distribution de probabilités par rapport à une baseline. L'auteur souligne aussi l'importance des paramètres du sampler : chaque fiche de modèle sur Hugging Face précise les réglages recommandés (température, top-p, etc.), et les ignorer — notamment en réglant la température trop basse — peut provoquer des comportements anormaux comme des boucles infinies. Il recommande d'utiliser des benchmarks variés et représentatifs des usages réels (tool-calling, long contexte, connaissances spécialisées) plutôt que de simples tests zero-shot à température nulle.