LLMs में Positional Embeddings की पूरी समझ

मूल शीर्षक: Understanding Positional Embeddings in Modern LLMs

यह क्यों महत्वपूर्ण है

Positional encoding LLM की sequence समझने की क्षमता की बुनियाद है; RoPE अब अधिकांश अत्याधुनिक मॉडलों में मानक बन चुका है।

Sebastian Raschka ने नवंबर 2026 में एक विस्तृत तकनीकी लेख प्रकाशित किया, जिसमें LLMs में token position एन्कोड करने के तरीकों — जैसे RoPE — को PyTorch कोड और विज़ुअल उदाहरणों सहित समझाया गया है।

Sebastian Raschka, PhD ने अपने Substack पर 'Understanding Positional Embeddings in Modern LLMs' शीर्षक से एक गहन तकनीकी लेख प्रकाशित किया है। इसमें classic absolute embeddings से लेकर आधुनिक Rotary Positional Embedding (RoPE) तक के तरीकों को कवर किया गया है।

लेख में GPT-2 और 2026 में जारी MiniMax-M3 जैसे ताज़े open-weight मॉडलों की architecture का तुलनात्मक विश्लेषण शामिल है। Raschka ने बताया कि उनके LLM Gallery में दर्ज 2026 के मॉडलों को positional encoding के आधार पर वर्गीकृत किया गया है।

लेख तीन मुख्य बिंदुओं पर केंद्रित है: LLMs में positional information किस बिंदु पर प्रवेश करती है, RoPE वास्तव में कैसे काम करता है, और हाल के open-source LLMs कौन-सी encoding पद्धति चुनते हैं।

Raschka के अनुसार, यह लेख उनके आगामी 'LLM Architecture Trends 2026' विश्लेषण की नींव के रूप में प्रकाशित किया गया है, ताकि उस लेख में हर बार बेसिक्स दोहराने की ज़रूरत न पड़े। उन्होंने यह भी स्वीकार किया कि यह विषय उनकी to-do list पर वर्षों से था। Substack के नए 'perks' फीचर के तहत supporters को gallery के image exports और metadata भी उपलब्ध कराए गए हैं।

स्रोत

magazine.sebastianraschka.com — मूल लेख पढ़ें →