DuckDB v2.0、非同期I/Oでリモート読み取りを高速化
Original : Asynchronous I/O in DuckDB: Work, Thread, Work
Pourquoi c'est important
クラウド上のデータレイク活用が拡大する中、I/O効率化はDuckDBの競争力を左右する重要技術。
DuckDB v2.0（2026年秋リリース予定）は、ParquetおよびCSVファイルの非同期読み取りをサポートする。EC2/S3環境など、同期I/Oが帯域幅を飽和させないリモートストレージ構成で、クエリ性能が大幅に向上する見込み。
DuckDBは2026年秋リリース予定のv2.0から、ParquetファイルおよびシークオープンなUTF-8 CSVファイルに対する非同期I/Oパイプラインをデフォルトで有効化する。従来のDuckDBはローカルSSD上でのデータアクセスを主な用途としており、同期I/Oで十分な性能を発揮していた。しかし、DuckLakeのようなデータレイクやQuackプロトコルによるサーバーモードの登場により、S3などのリモートストレージからEC2上でデータを処理するユースケースが増加。同期I/Oでは、スレッドがリモート読み取りの完了を待機する間に処理が停止し、帯域幅を十分に活用できない問題が顕在化していた。非同期I/Oでは、I/O操作の開始後もワーカースレッドをブロックせず、データ転送中に他の処理を継続できる。現在はParquetとCSVに実装済みで、DuckDBネイティブ形式やJSONへの対応は今後の予定。プレビュービルド「v2.0.0-dev」で既に試用可能。