活動推薦：阿里云雙11活動上線 2核2G3M服務器99元/年 原價續(xù)費不限新老用戶

“總不能讓我這個上班才 1 周的中斷周新人來背鍋吧？”

CloudFlare 作為全球最為知名的網(wǎng)絡服務提供商之一，偶爾出現(xiàn)中斷是超過很常見的事情，一般來說 CloudFlare 有多種不同的時機上班冗余策略，即便掛了影響范圍也比較小。房夜

但是班竟前兩天 CloudFlare 出現(xiàn)的技術故障竟然持續(xù)了 40 個小時，這應該是有名 CloudFlare 中斷時間最長的一次事故，所以現(xiàn)在恢復后 CloudFlare 火速發(fā)布博客分析此事件的新人前因后果。

故障時間是藍點從 2023 年 11 月 2 日 11:44 到 11 月 4 日 04:25，時間均為 UTC 時間，中斷周與中國時間有 + 08:00 時差，超過下面提到的時機上班所有時間都是 UTC 時間。

直接原因：機房供電故障、高壓線接地故障

時間說明：11:44 UTC 換成太平洋時間 (下面提到的班竟這個數(shù)據(jù)中心位于美國俄勒岡州，使用太平洋時間) 是有名夜里四點前后。

本次中斷事故影響了 CloudFlare 的新人很多產(chǎn)品，不過最嚴重的是 CloudFlare 控制臺和分析服務，其中控制臺就是客戶登錄 CloudFlare 后用來操作的地方，分析服務則是提供日志和分析報告之類的。

盡管 CloudFlare 已經(jīng)考慮到核心數(shù)據(jù)中心可能會掛掉因此做了冗余，但隨著時間的推移，系統(tǒng)會變得越來越復雜，因此冗余也不一定能生效。

根據(jù) CloudFlare 說明，最直接的原因是 CloudFlare 租用的 Flexential 數(shù)據(jù)中心出現(xiàn)了一起計劃外的供電維護，這導致數(shù)據(jù)中心的市電供應中斷，但數(shù)據(jù)中心都有備用發(fā)電機，即便備用發(fā)電機沒用那還有 UPS 不間斷電源呢。

盡管 Flexential 的數(shù)據(jù)中心已經(jīng)通過 Tier III 認證，不過在通用電氣進行計劃外的市電維護后，這個數(shù)據(jù)中心還是出現(xiàn)了一大堆問題。

當出現(xiàn)供電問題后 Flexential 啟動了備用發(fā)電機進行供電，但并沒有通知他們的客戶，包括 CloudFlare，因此 CloudFlare 是不知道核心數(shù)據(jù)中心出現(xiàn)了電力問題。

與最佳實踐不同的是，F(xiàn)lexential 同時運行僅剩的一個市電設施以及內部的發(fā)電機進行供電，一般來說遇到這種情況應該直接切換為備用發(fā)電機供電，因為在市電供應問題出現(xiàn)后，僅剩的這個市電設施也可能會被切斷，而 Flexential 既沒有通知客戶也不知道為什么還要使用剩余的一個市電設施。

但這個市電設施就這么巧出現(xiàn)了問題，到 11:40，也就是 CloudFlare 故障幾分鐘前 (這時候還沒故障，因為備用發(fā)電機還在干活中)，剩余的這個市電設施的前置變壓器出現(xiàn)了接地故障，前置變壓器的電源是 12kV 的高壓電，高壓電出現(xiàn)了接地是很嚴重的問題。

出現(xiàn)了高壓電接地后電氣系統(tǒng)為了確保電氣設施的安全立即自動啟動停機保護，不巧的是這種停機保護也把所有發(fā)電機都給停了，于是這個數(shù)據(jù)中心的市電和備用發(fā)電機供電全部停掉。

萬幸的是還有一組 UPS 電池，大約可以供電 10 分鐘，如果在 10 分鐘內市電或者發(fā)電機能恢復工作，那么 UPS 會停機，這樣整個系統(tǒng)基本都不會出現(xiàn)大問題。

然而這組 UPS 電池工作 4 分鐘后就出現(xiàn)了故障，此時 Flexential 還沒修好發(fā)電機，于是數(shù)據(jù)中心徹底斷電了。

三件事阻礙發(fā)電機重新工作：

第一，由于高壓線接地故障導致電路跳閘，必須物理訪問并手動重啟各個設施；

第二，Flexential 的門禁系統(tǒng)也沒有備用電池供電，因此出于離線模式，壓根進不去(那最后估計是暴力方式進去的)；

第三，Flexential 數(shù)據(jù)中心夜班只有保安和一名工作僅一周的技術人員，沒有經(jīng)驗豐富的操作或電氣專家。

由于發(fā)電機遲遲沒有恢復，UPS 電源在 12:01 徹底歇菜，此時整個數(shù)據(jù)中心都歇菜了，但 Flexential 仍然沒有通知他們的任何客戶表示數(shù)據(jù)中心已經(jīng)掛了。

CloudFlare 在 11:44 收到了第一個報警通知，這就是 UPS 電源工作 4 分鐘后出現(xiàn)故障的時間，這時候 CloudFlare 意識到問題了，開始主動聯(lián)系 Flexential 并希望派遣 CloudFlare 自己在當?shù)氐墓こ處熯M入數(shù)據(jù)中心。

到 12:28 Flexential 終于向客戶發(fā)出了第一條通知 (此時當?shù)貢r間是凌晨 5 點前后)，表示數(shù)據(jù)中心遇到了故障，工程師正在積極努力解決問題。

12:48 Flexential 終于重啟了發(fā)電機，部分設施開始恢復供電，但是更巧合的是 CloudFlare 所屬的電源線路的斷路器又損壞了，不知道這是由于接地故障還是浪涌導致的，亦或者說之前就已經(jīng)壞了，現(xiàn)在發(fā)現(xiàn)發(fā)電機重新上線后沒法恢復供電才發(fā)現(xiàn)斷路器壞了。

Flexential 于是又開始嘗試更換新的斷路器，但由于損壞的斷路器太多，他們還需要去采購，不知道這會兒 Flexential 有沒有打電話讓正在睡覺的電氣工程師進入了現(xiàn)場。但這個點去采購斷路器估計有點難度。

由于 Flexential 無法告知恢復時間，CloudFlare 決定在 13:40 啟用位于歐洲的災備站點，讓服務先恢復。

龐大的系統(tǒng)能夠快速通過冗余站點恢復那是不可能的，前提是你已經(jīng)經(jīng)過完完全全的測試，否則真正進行切換時肯定會遇到問題。

所以接下來就是 CloudFlare 自己的問題了。

CloudFlare 自己的問題：

直接原因是數(shù)據(jù)中心問題，但還有間接原因，那就是為了快速迭代 CloudFlare 允許團隊快速創(chuàng)新，這意味著有一些新東西可能沒有經(jīng)過嚴格測試就上線了。

在故障轉移過程中失敗的 API 調用直接起飛了，由于失敗的 API 調用太多，CloudFlare 不得不開始限制請求速率，直到 17:57 后災備站點基本恢復運行。

但還有些產(chǎn)品 – 一些較新的產(chǎn)品并沒有完全進行災備測試，所以部分服務仍然不可用。

到 11 月 2 日 22:48 Flexential 那邊終于換好了斷路器并開始使用市電進行供電，此時忙得暈頭轉向的 CloudFlare 團隊決定歇會兒，畢竟災備站點現(xiàn)在能應對大部分服務的運行。

到 11 月 3 日開始 CloudFlare 著手恢復 Flexential 數(shù)據(jù)中心，首先是物理啟動網(wǎng)絡設備，然后啟動數(shù)千臺服務器并恢復服務，但這些服務器也需要重新配置，而重建管理配置服務器就花了 3 個小時。有些服務之間存在依賴，必須上游服務恢復了才能使用，所以必須按照順序進行操作。

配置服務器能用后工程師開始操作其他服務器，每臺服務器重建時間在 10 分鐘～2 小時之間，直到 11 月 4 日 04:25 整個服務才被恢復。

對運維有興趣的用戶建議閱讀 CloudFlare 原文看看總結出來的教訓：https://blog.cloudflare.com/post-mortem-on-cloudflare-control-plane-and-analytics-outage/

本文地址：http://www.htyunqi.com.cn/html/8f97299019.html