誤作動の火災警報がJane Streetのデータセンターを危機に
原題: A false smoke alarm almost drowned Jane Street's only NYC datacenter
なぜ重要か
高頻度取引会社の物理インフラ依存と「最後の手段」としての人力操作の重要性を、現場視点で示す一次資料として価値が高い。
高頻度取引会社Jane Streetのニューヨーク市内唯一のデータセンターで、隣室の工事中に発生した粉塵が火災警報を誤作動させた。スプリンクラーが作動すれば数百台のサーバーが水没する可能性があり、システムチームは電源ケーブルを手作業で引き抜く緊急対応に奔走した。元社員のMichael Bacarellaが手記として公開したインシデント報告が注目を集めている。
Jane Streetのシステムチームに在籍していたエンジニアのMichael Bacarellaが、同社のNYCデータセンターを冷や汗で救った「戦場の話（war story）」をブログに公開した。
Jane Streetは長年、取引フロアのすぐ近くに自社のマシンルームを置く方針をとっていた。理由は二つ。サーバーを物理的に守って取引戦略の流出を防ぐこと、そして暴走した自動取引システムを「電源ケーブルを引き抜く」という最終手段で必ず止められるようにすることだ。核潜水艦に乗務経験を持つパートナーが根付かせたリスク文化が背景にあり、「自動化を信頼するにも、物理的に切れる赤いレバーが必要だ」という思想が社内に浸透していた。
そのデータセンターは1 New York Plazaというマンハッタン南端の一般的なオフィスビルの中に設置。UPS（無停電電源装置）、CRACユニット（コンピュータルーム用空調）、大型ネットワークスイッチ、地下の非常用ディーゼル発電機、そして約100台のサーバーキャビネットが詰め込まれていた。
ある夜、隣接する準備室で工事中の作業員が内装を切断した際に粉塵が舞い上がり、データセンターの火災警報が誤作動した。香港オフィスからの緊急連絡を受けたBacarellaは徒歩9分の自宅アパートから即座に駆けつけた。スプリンクラーが起動すればサーバー群が水没するのは確実。冷却も止まっているため、熱暴走のリスクも同時に進行していた。チームは手分けしてサーバーの電源ケーブルを物理的に抜き、最悪の事態を防いだ。
Bacarellaは「Jane Streetがいかに優れているかはよく語られるが、愚かなミスが会社を潰しかけた話は少ない。今回は根性と運で乗り切った」と振り返る。AIによる校正・軽微な編集は行ったと開示しているが、文章は基本的に人間の手で書かれたと明記されている。