오경보 한 번에 Jane Street 데이터센터 침수 위기
원제: A false smoke alarm almost drowned Jane Street's only NYC datacenter
왜 중요한가
고빈도 거래사 단일 데이터센터의 물리적 취약성과 인적 대응이 얼마나 중요한지를 실증한 사례다.
2000년대 뉴욕 1 New York Plaza 빌딩 내 Jane Street 단독 NYC 데이터센터에서 공사 먼지로 인한 오작동 화재경보가 울렸다. 스프링클러 작동 시 수백 대 서버가 침수될 위기에 처했고, 시스템팀 직원이 9분 거리 자택에서 달려와 전원 케이블을 직접 뽑으며 사태를 막았다.
Jane Street 시스템팀 출신 Michael Bacarella가 블로그에 공개한 사내 전쟁담이다. 당시 Jane Street는 지식재산 보호와 오작동 자동 거래 시스템의 즉각 차단을 위해, 데이터센터를 NYC 트레이딩 플로어 바로 옆인 1 New York Plaza 고층빌딩 한가운데에 운영했다. 시설 규모는 UPS, CRAC 냉각 유닛, 대형 네트워크 스위치, 지하 디젤 발전기, 서버 캐비닛 약 100개(10열×10개)였다.
문제의 날, 데이터센터 인접 작업실에서 공사 업체가 절삭 작업을 하며 먼지를 일으켰고, 이것이 화재 감지기를 오작동시켰다. 경보가 울리면 빌딩 소방 시스템이 자동으로 스프링클러를 가동할 수 있었다. 냉각 시스템도 함께 차단되어 서버 과열 위험도 동시에 발생했다.
Hong Kong 사무소가 뉴욕 비상 연락망으로 Bacarella의 번호를 호출했다. 사무실에서 도보 9분 거리 원룸에 살던 그는 즉시 출동, 팀원들과 함께 스프링클러가 작동하기 전에 서버 전원 코드를 하나하나 직접 뽑으며 장비를 보호했다. 핵잠수함 출신 파트너가 심어놓은 "자동화를 맹신하지 말고 물리적 차단 수단을 항상 확보하라"는 리스크 문화가 이날 실질적인 가이드라인이 됐다고 Bacarella는 회고했다.