LookAtMyQuant : quantification 12× plus précise
Original : Inkling-2-Mini in 5.4 GB Memory
Pourquoi c'est important
Une meilleure quantification réduit les coûts d'inférence locale sans sacrifier la qualité.
LookAtMyQuant est un compilateur de quantification open source qui atteint une divergence KL 12× inférieure à Q4_K_M à taille de fichier identique, permettant de faire tourner Inkling-2-Mini en 5,4 Go de RAM.
Un développeur indépendant sous le pseudonyme ShinMegamiBoson a publié sur GitHub un outil baptisé LookAtMyQuant, présenté comme un compilateur de quantification pour modèles de langage. La promesse centrale : réduire la divergence KL — mesure de la perte de fidélité par rapport au modèle original — d'un facteur 12 par rapport à la méthode Q4_K_M de référence, sans augmenter la taille du fichier produit. Le projet compte déjà 424 étoiles et 19 forks. Concrètement, l'outil permet de faire fonctionner le modèle Inkling-2-Mini dans seulement 5,4 Go de mémoire vive. Le dépôt inclut un ensemble de scripts couvrant la compilation, l'évaluation sur benchmarks mathématiques, le fine-tuning et l'export au format GGUF, ainsi qu'un support runtime pour MLX. La licence est MIT. Aucun chiffre d'évaluation indépendant n'est disponible pour le moment.