LookAtMyQuant: 5.4GB में Inkling-2-Mini

मूल शीर्षक: Inkling-2-Mini in 5.4 GB Memory

यह क्यों महत्वपूर्ण है

समान फ़ाइल साइज़ में बेहतर गुणवत्ता का यह दावा local LLM deployment के लिए अहम हो सकता है।

GitHub पर ShinMegamiBoson द्वारा जारी LookAtMyQuant एक quantization compiler है जो Q4_K_M के समान फ़ाइल साइज़ में 12 गुना कम KL divergence देता है। Inkling-2-Mini मॉडल केवल 5.4GB मेमोरी में चलता है।

GitHub यूज़र ShinMegamiBoson ने 'lookatmyquant' नाम का एक open-source quantization compiler सार्वजनिक किया है जिसे MIT लाइसेंस के तहत जारी किया गया है। रिपॉज़िटरी को अब तक 424 stars और 19 forks मिल चुके हैं।

इस tool का मुख्य दावा यह है कि यह Q4_K_M जैसे प्रचलित quantization फॉर्मेट के बराबर फ़ाइल साइज़ रखते हुए 12 गुना कम KL divergence हासिल करता है। KL divergence यह मापता है कि quantized मॉडल का आउटपुट मूल मॉडल से कितना अलग है — यानी कम KL का मतलब है कि मॉडल की गुणवत्ता ज़्यादा सुरक्षित रहती है।

रिपॉज़िटरी में compiler.py, gguf_compiler.py, row_allocation.py जैसी कई Python फ़ाइलें हैं जो बताती हैं कि यह compiler प्रत्येक stored weight की ज़रूरत को माप कर row-level पर quantization तय करता है। साथ ही runtime_mlx और drafter फ़ोल्डर से पता चलता है कि Apple MLX framework के लिए भी support शामिल है।

Inkling-2-Mini मॉडल इस compiler से quantize होने के बाद मात्र 5.4GB मेमोरी में चलाया जा सकता है, जो consumer-grade hardware पर LLM inference को व्यावहारिक बनाता है। प्रोजेक्ट की एक documentation साइट lookatmyquant.pages.dev पर भी उपलब्ध है।

स्रोत

github.com — मूल लेख पढ़ें →