Les embeddings positionnels dans les LLMs expliqués
Original : Understanding Positional Embeddings in Modern LLMs
Pourquoi c'est important
RoPE s'est imposé comme standard ; comprendre ce mécanisme est essentiel pour suivre l'évolution des LLMs.
Sebastian Raschka publie un guide technique complet sur les méthodes d'encodage positionnel dans les LLMs, couvrant RoPE et les choix des modèles open-weight en 2026, avec code PyTorch et exemples visuels.
Dans un article de fond publié sur sa newsletter Substack, Sebastian Raschka, PhD, s'attaque enfin à un sujet longtemps en attente dans sa liste : les embeddings positionnels dans les grands modèles de langage. Le texte couvre l'évolution des méthodes, depuis les embeddings absolus appris (comme dans GPT-2) jusqu'au RoPE (Rotary Position Embedding), devenu standard dans la plupart des architectures récentes.
L'article s'appuie sur des visualisations, un peu de mathématiques et une implémentation PyTorch pour illustrer comment l'information de position des tokens circule à travers un LLM. Raschka compare notamment GPT-2 et MiniMax-M3, un modèle sorti en 2026, pour montrer que les architectures restent structurellement proches malgré les années d'écart.
Une galerie des modèles open-weight de 2026, classés par type d'encodage positionnel, est proposée en aperçu. L'auteur précise que cet article constitue une base pour un prochain texte sur les tendances architecturales des LLMs cette année. Il recommande aux lecteurs déjà familiers du sujet de passer directement à la section 6.