Polars 2.0 Rilis: Kalahkan DuckDB dan DataFusion
Judul asli: Release of Polars 2.0
Mengapa Ini Penting
Kemenangan benchmark atas DuckDB memperkuat posisi Polars sebagai engine analitik Python pilihan.
Polars 2.0 dirilis 6 Oktober 2026 dengan SQL kelas satu, streaming engine default, out-of-core support, dan performa TPC-H/TPC-DS melampaui DuckDB 1.5.6, DuckDB 2.0 alpha, serta DataFusion 54.0.0.
Polars 2.0 hadir dengan sejumlah perubahan besar. Yang paling berdampak: streaming engine kini menjadi default saat memanggil `collect` pada `LazyFrame`, yang diklaim menghasilkan penghematan memori dan peningkatan performa signifikan pada sebagian besar query.
SQL resmi diperlakukan sebagai fitur kelas satu. Tim Polars memperluas cakupan SQL secara dramatis dan memperbaiki optimizer dengan join reordering, common-subplan-elimination yang lebih baik, serta dynamic predicates dan bloom filters.
Benchmark TPC-H dan TPC-DS dijalankan di mesin c7a.4xlarge (16 vCPU, 32 GB RAM) dan c7a.metal (192 vCPU, 384 GB RAM) melawan DuckDB 1.5.6, DuckDB 2.0 alpha, dan DataFusion 54.0.0. Setiap query dijalankan 5 kali dengan proses terpisah dan timeout 60 detik. Hasilnya: Polars unggul di hampir semua benchmark. Catatan: pada 192 thread, Polars menunjukkan overhead konstan yang memperlambat query data kecil — Polars yang dibatasi 32 core justru kompetitif. Tim mengaku sudah mendiagnosis masalah ini dan berencana memperbaikinya di rilis berikutnya.
Fitur lain yang masuk di versi ini: out-of-core (spill-to-disk) support versi awal, tipe data `Map` baru, serta pengetatan aturan dtype untuk mempercepat feedback dan iterasi AI.