2026 年 11 月 10 日,曾在 Jane Street 系统团队工作的工程师 Michael Bacarella 在个人博客发表了一篇复盘长文:一场根本没有火的烟雾报警,差点让这家量化交易公司的纽约机房被自家的喷淋系统淹没。文章发出后登上 Hacker News 热榜,拿到 367 分、181 条评论。故事的核心是一套预作用喷淋系统、一个把空调与火警联锁起来的设计,加上一名碰巧住在公司旁边 9 分钟脚程的工程师。
Bacarella 在文末附了一行声明:全文由人手写成,AI 只做校对和轻微编辑。他把这段经历归入「war stories」标签,自述视角是 Jane Street 的「蓝领 OCaml 程序员」,出了事就在走廊里奔跑的那批人。
机房为什么在交易大厅对面
Jane Street 长期坚持把机房放在交易大厅旁边。公司 10 个人的时候这显得可爱,150 个人的时候已经开始奇怪。两个理由撑着这个选择:一是知识产权,管理层担心服务器放到外部机房会被窥探,泄露交易策略;二是技术风险,他们要求失控的自动化交易系统永远保留一个终极止损手段,冲过走廊、拔掉电源线。
Bacarella 写道,这种风险文化的来源之一是一位曾在核潜艇服役的合伙人。在潜艇上,除非有一个机械直连的红色大拉杆可以扳下断电,否则不信任自动化。这套哲学大体上是好的,「机房就在办公室里」也由此长期留在了正式架构里。
于是这个机房在曼哈顿下城的 1 New York Plaza 写字楼里越建越大:在线式 UPS、机房精密空调(CRAC)、冰箱尺寸的网络交换机、埋在地下的柴油备用发电机,以及大约 10 排、每排 10 个深度的机柜。楼里其他租户都是普通公司。
一场没有火的火警
事发当晚,Bacarella 刚走到自家公寓的电梯口,电话响了。来电的是香港办公室,纽约出问题时,他的号码是被拨的那一个。他租了一个 200 平方英尺(约 18.6 平方米)的单身公寓,从家门到工位步行 9 分钟,全公司都知道他离得近。
触发警报的是隔壁准备间里干活的承包商:切割作业扬起的灰尘被烟雾探测器当作了烟雾。
麻烦在于这套建筑消防系统对「检测到烟雾」的响应链条。写字楼常用的喷淋灭火在机房这类区域有特殊配置,Bacarella 在文中拆解了它的三段逻辑:
- 机房上方的喷淋管道平时不充水,避免常年带压的管道在头顶慢慢渗漏;
- 喷淋头本身不装烟雾传感器。独立的探测系统发现烟雾后,管道开始充入带压水流,但此刻并不喷洒;
- 真正触发喷洒的是热量。每个喷淋头各有一个热敏塞,周围空气热到足够温度才会打开,水才会出来。
按这个设计,施工扬尘误触烟感,房间里没有火、没有热,喷淋头不该动作。问题出在最后一块拼图上:烟感系统还联锁关掉了 CRAC 空调,逻辑是着火时继续让空气循环等于给火扇风。

三个部件各自看都合理:管道充了压但没到喷洒条件,空调停了避免助燃,喷头等着热量确认火情。组合起来的结果是一台倒计时器。
从误报到临界,这条联动链的完整时序,看这张动图更直观:
机房里满是高功率机柜,冷却一停温度就往上走,头顶的管道已经充满带压的水,只要室温爬过喷头的动作温度,水就会浇在带电的设备上。
Water Street 上的冲刺
任务目标随即明确:赶在机房温度爬过 150°F(约 65.6°C)之前,把房间里每台设备的电源线都拔掉。
Bacarella 沿着金融区那条名字颇具讽刺意味的 Water Street 跑回公司,在 1 New York Plaza 大堂猛按电梯,等它爬完 33 层,刷卡冲进主办公区,右转再刷开机房门,然后在一间已经像桑拿房的屋子里,一排一排、一个机柜一个机柜地用双手拔电源线。
拔完之后他盯着温度监控:141°F(约 60.6°C)、142、143、143.5、143.6,然后停住了。距离预估的喷淋动作温度还差约 6°F。他形容那是机房里从未有过的安静。

当晚纽约主要市场已经收盘,这次宕机的实际损失很小,第二天早上系统全部恢复。Bacarella 写道,事后会议的画风接近宿舍里争论问题的大学生:冷静、就事论事、甚至有点好玩。讨论结论是喷淋系统保留,收紧施工流程与监控,机房继续留在交易大厅旁边的办公楼里。这个状态一直持续到桑迪飓风来临,那是他预告的下一段故事。
用 OCaml 写一个「直接问每台机器」的监控
复盘暴露的真正缺口在监控侧。香港办公室能发现问题靠运气:有人恰好在显示屏上看到一台接一台的服务器弹出温度爬升的告警。没有任何单机阈值告警,因为单台服务器偶尔发热太常见;但所有机器的温度整体抬升,说明的是机房级冷却故障。
Bacarella 第二天动手补上了这个监控。他选了公司主力语言 OCaml 来写这个程序:每分钟向每个机房的所有 Linux 服务器直接读取板载传感器温度,计算平均值,均值偏高就向系统团队全员发出告警。

他解释了为什么没有依赖空调状态或房间专用温度计的遥测:这些设施侧数据源的可靠性远不如直接问机器本身,而未知的未知照样能搞垮你。让整个机群汇报自己的温度、均值略高就大声报警,是对 unknown unknowns 最有抵抗力的做法。
这套思路可以迁移到任何运维场景:告警信号选在离业务最近的测量点上,比选在基础设施的控制层更抗故障;聚合统计比单点阈值更能区分「个别机器的问题」和「整个机房的问题」。
社区里的三个疑问
Hacker News 评论区围绕这个故事提出了几个技术追问。有人质疑机房为何没有配置大型数据中心常见的 EPO 紧急断电按钮,一个按钮让整个房间断电,省去逐柜拔线;也有人问为什么用的是水喷淋而非历史上机房常用的气体灭火;还有人问,与其拔掉所有服务器,为何不直接恢复空调。原文没有给出这些问题的答案,联锁设计是否在事后调整,Bacarella 也没有展开。
一条评论指向了 Jane Street 官方播客 Signals and Threads 的《The Thermodynamics of Trading》一期,节目里讨论过他们办公楼与数据中心的散热设施。这家公司把自己的机房热力学当成公开节目聊过,只是没聊过这晚的 Water Street 冲刺。
来源:How a false smoke alarm almost drowned Jane Street's only NYC datacenter(Michael Bacarella);Hacker News 讨论