Polars 2.0 लॉन्च: DuckDB को पछाड़ा
मूल शीर्षक: Release of Polars 2.0
यह क्यों महत्वपूर्ण है
SQL analytics engine की दौड़ में Polars का DuckDB को बेंचमार्क में पछाड़ना data engineering समुदाय के लिए बड़ा संकेत है।
6 अक्टूबर 2026 को Polars 2.0 जारी हुआ। इसमें out-of-core (spill-to-disk) सपोर्ट, SQL first-class support, नया Map dtype, और TPC-H व TPC-DS बेंचमार्क में DuckDB 1.5.6, DuckDB 2.0 alpha और DataFusion 54.0.0 को पीछे छोड़ने का दावा किया गया है।
Polars के संस्थापक Ritchie Vink ने 2.0 को बड़ा फीचर रिलीज़ न मानते हुए भी कई अहम बदलाव शामिल किए हैं। सबसे बड़ा बदलाव यह है कि अब LazyFrame पर collect() कॉल करने पर डिफ़ॉल्ट रूप से streaming engine काम करेगा, जिससे अधिकतर queries में मेमोरी उपयोग और प्रदर्शन दोनों में सुधार होगा।
SQL को अब first-class citizen का दर्जा दिया गया है। Optimizer में join reordering, बेहतर common-subplan-elimination और dynamic predicates/bloom filters जोड़े गए हैं। बेंचमार्क c7a.4xlarge (16 vCPUs, 32GB RAM) और c7a.metal (192 vCPUs, 384GB RAM) पर चलाए गए। हर query 5 बार hot setting में अलग process के साथ चली, timeout 60 सेकंड रखा गया।
नतीजे: Polars और दोनों DuckDB versions ने सभी queries पूरी कीं, जबकि DataFusion TPC-DS q72 पर timeout और TPC-H q18 पर c7a.4xlarge में memory से बाहर हो गया। Polars default में लगभग सभी बेंचमार्क में सबसे तेज़ रहा, हालांकि 192 threads पर constant overhead की समस्या स्वीकार की गई है जिसे अगले रिलीज़ में ठीक करने की बात कही गई है। बेंचमार्क repository सार्वजनिक की गई है।
इसके अलावा नया Map dtype और dtype पर सख्त नियम भी लाए गए हैं, जिससे AI iteration तेज़ होने का दावा है।