Hacker News 18年分のコメントをインデックス化してGoogle Trendsを構築
原題: Show HN: I made Google Trends for Hacker News by indexing 18 years of comments
なぜ重要か
Hacker Newsの豊富なテクノロジー議論データを可視化することで、技術トレンドの盛衰を客観的に追跡できるツール。業界の意思決定やリサーチに活用される可能性がある。
開発者がHacker Newsの過去18年間のコメント4500万件以上をインデックス化し、任意のトピック・ツール・人物がどのように話題になったかを時系列でグラフ化するサービス「Hacker Trends」を公開した。複数の用語を重ねて比較でき、実際のストーリーやコメントも検索可能。Upstash Redis Searchを活用して構築されている。
「Hacker Trends」は、Hacker Newsの膨大なアーカイブから任意のキーワードの出現頻度を時系列でビジュアル化するツール。2008年から現在までの18年間にわたる4500万件以上の投稿とコメントから、特定のテクノロジー、企業、プログラミング言語やフレームワークがいつどのように話題になったかを追跡できる。
特徴として、複数の検索用語を同時にグラフに重ねて比較することで、技術トレンドの遷移を視覚的に理解できる。例えば、Angular対Vue対Svelteのフレームワーク戦争、MySQL対Postgresのデータベースリーダーシップの逆転、TensorFlow対PyTorch対JAXの機械学習フレームワーク世代交代などを月単位での詳細なグラフで確認できる。
グラフの下部には、検索キーワードや著者でフィルタリング可能な実際のストーリーとコメントが表示される。ChatGPT対DeepSeekのようなAI企業の波、あるいはDocker対Kubernetesのコンテナ化技術の流れなど、業界全体の動向を歴史的に追跡可能。
技術的には、Upstash Redis Searchを使用してリアルタイムで日付ベースのヒストグラムをクエリしており、ソースコードはGitHubで公開されている。ユーザーはチャート上の特定の月をクリックするか範囲をドラッグして期間を絞り込める。