Bloom Filterで API パフォーマンスが16倍向上
原題: Bloom filters: the niche trick behind a 16× faster API | Blog | incident.io
なぜ重要か
大規模データ処理における性能最適化の実践例として、Bloom Filterの効果的な活用方法を示している。
incident.ioがアラート履歴フィルタリング機能のAPI応答時間をBloom Filterという技術で改善した。P95レスポンス時間が5秒から0.3秒に短縮、16倍の性能向上を実現。大企業顧客の数百万件のアラートデータに対するフィルタリング処理が大幅に高速化された。
incident.ioはOn-call製品のアラート履歴フィルタリング機能で深刻な性能問題に直面していた。大企業顧客では数百万件のアラートデータを扱うため、フィルタリング処理に最大12秒かかり、P95レスポンス時間は5秒に達していた。同社はPostgreSQLデータベースでアラートを管理しており、顧客は監視システム（Alertmanager、Datadogなど）から受信したアラートの完全な履歴を確認できる。しかし、ソース、優先度、チーム、機能などの複数条件でフィルタリングする際に性能が大幅に低下した。解決策として、Bloom Filterという確率的データ構造を導入した。Bloom Filterは要素の存在を効率的に判定できる技術で、偽陽性は発生するが偽陰性は発生しない特性を持つ。これにより不要なデータアクセスを大幅に削減し、フィルタリング処理を高速化した。結果として、P95レスポンス時間を5秒から0.3秒に短縮、16倍の性能向上を達成した。この改善により、大企業顧客でも快適にアラート履歴を検索できるようになった。