झूठे धुएँ के अलार्म ने Jane Street के डेटासेंटर को डुबोने की कोशिश की
मूल शीर्षक: A false smoke alarm almost drowned Jane Street's only NYC datacenter
यह क्यों महत्वपूर्ण है
यह घटना बताती है कि physical infrastructure की redundancy और human intervention की तैयारी आज भी automated systems जितनी ज़रूरी है।
New York के 1 New York Plaza स्थित Jane Street के एकमात्र NYC डेटासेंटर में एक झूठे smoke alarm ने cooling बंद कर दी और sprinkler system चालू होने का खतरा पैदा हो गया। Systems team ने दौड़कर power cords खींचकर नुकसान टाला।
यह घटना Jane Street के उस दौर की है जब कंपनी का पूरा datacenter Manhattan की एक साधारण office building — 1 New York Plaza — के बीचोबीच था। कंपनी की trading floor के पास ही यह machine room था, जिसमें online UPS, CRAC cooling units, बड़े network switches, underground diesel generator और करीब 100 server cabinets थे।
एक शाम, जब systems team के एक सदस्य अपने Queens से नज़दीक लिए गए studio apartment में लौटने वाले थे, उनके फ़ोन पर Hong Kong office का call आया। पास के prep room में contractors काम कर रहे थे — कुछ काटने-छीलने से उठी धूल ने smoke detector को trigger कर दिया।
झूठे alarm ने CRAC cooling units को स्वतः बंद कर दिया। बिना cooling के, भरे-पूरे datacenter में सर्वरों को गर्म होने में ज़्यादा समय नहीं लगता। इससे भी बड़ा खतरा था — यदि sprinkler system चालू हो जाता, तो पानी सैकड़ों servers को बर्बाद कर देता।
Jane Street की risk culture nuclear submarine की सोच पर आधारित थी: अंतिम विकल्प हमेशा physically power cord खींचना हो। इसीलिए firm ने अपना datacenter trading floor के पास रखा था — ताकि automated trading systems को ज़रूरत पड़ने पर तुरंत बंद किया जा सके। उस रात यही सोच काम आई। Team ने भागकर server cabinets के power cords खींचे और बड़े नुकसान से बचाया।