Jane Street : quand une fausse alarme faillit noyer son datacenter
Original : A false smoke alarm almost drowned Jane Street's only NYC datacenter
Pourquoi c'est important
Ce récit expose les angles morts d'une infrastructure critique centralisée en milieu urbain.
Un nuage de poussière déclenché par des travaux a failli activer les sprinklers du seul datacenter new-yorkais de Jane Street, forçant l'équipe à débrancher des centaines de serveurs en quelques minutes.
Un récit de guerre publié par Michael Bacarella, ancien membre de l'équipe systèmes de Jane Street, illustre les risques opérationnels que court une firme de trading haute fréquence quand son infrastructure est logée dans un immeuble de bureaux ordinaire.
Jane Street avait longtemps maintenu sa salle serveurs à quelques mètres de son trading floor, au 1 New York Plaza, en plein cœur de Manhattan. La raison : pouvoir, en cas de déraillement d'un algorithme, couper physiquement l'alimentation électrique. Une philosophie héritée, selon Bacarella, d'un associé ayant servi sur un sous-marin nucléaire — pas d'automatisation sans levier de coupure mécanique peint en rouge.
Le datacenter avait grossi avec la firme : UPS, unités de climatisation CRAC, générateur diesel souterrain, environ 100 armoires serveurs. Un soir, des travaux dans une salle adjacente soulèvent de la poussière. Le détecteur de fumée se déclenche. Résultat : le système de refroidissement s'arrête automatiquement, et les sprinklers menacent de s'activer. Bacarella, qui habitait à neuf minutes à pied du bureau, reçoit l'appel du bureau de Hong Kong. La course contre la montre commence : débrancher un maximum de serveurs avant que l'eau ne tombe.