DuckDB、新形式「DuckLake」を公開
原題: DuckDB Ducklake
なぜ重要か
Iceberg・Delta Lakeが支配するテーブルフォーマット市場に、DuckDBという強力なブランドが参入する点で業界の注目度は高い。
DuckDBの開発チームがGitHub上でオープンソースプロジェクト「DuckLake」を公開した。DuckDBを基盤とするデータレイクハウス向けの新しいテーブルフォーマットとして位置づけられており、既存のIceberg・Delta Lakeなどの競合フォーマットに対抗する形で登場した。
DuckDB開発チームは、GitHubのduckdb組織配下に新リポジトリ「DuckLake」を公開した。DuckDBはインプロセス型の分析用SQLデータベースとして広く利用されており、DuckLakeはその技術的資産を活用したデータレイクハウス向けのオープンテーブルフォーマットと見られる。
Apache IcebergやDelta Lakeといった既存フォーマットはHadoopエコシステムの影響を色濃く受けており、メタデータ管理の複雑さが課題として指摘されてきた。DuckLakeはDuckDBのシンプルな設計思想を引き継ぎ、セットアップや運用の手軽さを重視した設計を志向していると考えられる。
DuckDBはここ数年でデータエンジニアリングコミュニティにおける採用が急速に拡大しており、単一バイナリで動作する軽量性と高いクエリ性能が支持を集めてきた。DuckLakeはそのDuckDBと緊密に統合されることで、ローカル環境からクラウド環境まで幅広いユースケースに対応できる可能性がある。
現時点でリポジトリの詳細な仕様・ドキュメントは整備途中であり、プロジェクトの全容は今後明らかになる見込みだ。