4月8日下午，騰訊云突然發(fā)生服務(wù)故障，表現(xiàn)為接口響應(yīng)報(bào)錯(cuò)、內(nèi)部服務(wù)錯(cuò)誤、網(wǎng)頁(yè)顯示504錯(cuò)誤等。

504錯(cuò)誤代表的是網(wǎng)關(guān)超時(shí)(Gateway timeout)，也就是服務(wù)器作為網(wǎng)關(guān)或代理沒有及時(shí)從上游服務(wù)器收到請(qǐng)求。

當(dāng)天傍晚，騰訊云回復(fù)稱，官網(wǎng)控制臺(tái)相關(guān)服務(wù)出現(xiàn)異常，正在緊急修復(fù)，部分地區(qū)已恢復(fù)，其他地區(qū)也正在繼續(xù)搶修中。

現(xiàn)在，騰訊云官方公布了對(duì)此次故障的復(fù)盤及情況說明。

根據(jù)騰訊云的說法，4月8日15點(diǎn)23分，騰訊云團(tuán)隊(duì)收到告警信息，云API服務(wù)處于異常狀態(tài)，隨即在騰訊云工單、售后服務(wù)群、微博等渠道開始大量出現(xiàn)騰訊云控制臺(tái)登錄不上的客戶反饋。

經(jīng)過故障定位發(fā)現(xiàn)，客戶登錄不上控制臺(tái)正是云API異常所導(dǎo)致。

云API是云上統(tǒng)一的開放接口集合，客戶可以通過API以編程方式管理和操控云端資源，云控制臺(tái)通過組合云API提供交互式的網(wǎng)頁(yè)功能。

故障發(fā)生后，依賴云API提供產(chǎn)品能力的部分公有云服務(wù)，也因?yàn)樵艫PI的異常出現(xiàn)了無法使用的情況，比如云函數(shù)、文字識(shí)別、微服務(wù)平臺(tái)、音頻內(nèi)容安全、驗(yàn)證碼等。

此次故障一共持續(xù)了近87分鐘，期間共有1957個(gè)客戶報(bào)障。

從客戶的視角來看，云服務(wù)大概可以分為數(shù)據(jù)面和控制面，其中數(shù)據(jù)面承載客戶自身的業(yè)務(wù)，控制面負(fù)責(zé)操作云上不同產(chǎn)品。

此次發(fā)生故障的控制臺(tái)和云API，是對(duì)控制面的影響。

通俗來講，如果把云服務(wù)類比為酒店，控制臺(tái)相當(dāng)于酒店的前臺(tái)，一旦發(fā)生故障就會(huì)導(dǎo)致入住、續(xù)住等管理能力不可用，但已入住的客房不受影響。

這次故障中，客戶已經(jīng)配置好的服務(wù)器等IaaS資源，包括已經(jīng)部署運(yùn)行的業(yè)務(wù)，沒有受到云API異常的影響。其他以非云API方式提供服務(wù)的PaaS、SaaS服務(wù)，也都正常服務(wù)。

4月8日當(dāng)天騰訊云全產(chǎn)品進(jìn)出流量趨勢(shì)圖，可以看到不受影響

但是，使用API提供的服務(wù)類產(chǎn)品受到不同程度的影響，比如騰訊云存儲(chǔ)服務(wù)調(diào)用當(dāng)天有明顯下滑。

4月8日當(dāng)天騰訊云存儲(chǔ)服務(wù)調(diào)用數(shù)據(jù)趨勢(shì)圖，可以看到存儲(chǔ)服務(wù)調(diào)用有一個(gè)明顯的波動(dòng)

本次故障處理過程如下：

15:23，監(jiān)測(cè)到故障，立即執(zhí)行服務(wù)的恢復(fù)，同時(shí)進(jìn)行原因的排查；

15:47，發(fā)現(xiàn)通過回滾版本沒能完全恢復(fù)服務(wù)，進(jìn)一步定位問題；

15:57，定位出故障根因是配置數(shù)據(jù)出現(xiàn)錯(cuò)誤，緊急設(shè)計(jì)數(shù)據(jù)修復(fù)方案；

16:02，對(duì)全地域進(jìn)行數(shù)據(jù)修復(fù)工作，API服務(wù)逐地域恢復(fù)中；

16:05，觀測(cè)到除上海外的地域API服務(wù)均已恢復(fù)，進(jìn)一步定位上海地域的恢復(fù)問題；

16:25，定位到上海的技術(shù)組件存在API循環(huán)依賴問題，決定通過流量調(diào)度至其他地域來恢復(fù)；

16:45，觀測(cè)到上海地域恢復(fù)了，此時(shí)API和依賴API的PaaS服務(wù)徹底恢復(fù)，但控制臺(tái)流量劇增，按九倍容量進(jìn)行了擴(kuò)容；

16:50，請(qǐng)求量逐漸恢復(fù)到正常水平，業(yè)務(wù)穩(wěn)定運(yùn)行，控制臺(tái)服務(wù)全部恢復(fù)；

17:45，持續(xù)觀察一小時(shí)，未發(fā)現(xiàn)問題，按預(yù)案處理過程完畢。

騰訊云表示，故障的原因是云API服務(wù)新版本向前兼容性考慮不夠，以及配置數(shù)據(jù)灰度機(jī)制不足。

本次API升級(jí)過程中，由于新版本的接口協(xié)議發(fā)生了變化，在后臺(tái)發(fā)布新版本之后，對(duì)于舊版本前端傳來的數(shù)據(jù)處理邏輯異常，導(dǎo)致生成了一條錯(cuò)誤的配置數(shù)據(jù)，而灰度機(jī)制不足導(dǎo)致異常數(shù)據(jù)快速擴(kuò)散到了全網(wǎng)地域，造成整體API使用異常。

發(fā)生故障后，按照標(biāo)準(zhǔn)回滾方案將服務(wù)后臺(tái)和配置數(shù)據(jù)同時(shí)回滾到舊版本，并重啟API后臺(tái)服務(wù)，但此時(shí)因?yàn)槌休dAPI服務(wù)的容器平臺(tái)也依賴API服務(wù)才能提供調(diào)度能力，即發(fā)生了循環(huán)依賴，導(dǎo)致服務(wù)無法自動(dòng)拉起。

通過運(yùn)維手工啟動(dòng)方式才使API服務(wù)重啟，完成整個(gè)故障恢復(fù)。

近年來，國(guó)內(nèi)各家云服務(wù)多次發(fā)生故障：

2024年4月9日支付寶崩潰，2023年12月3日騰訊視頻崩潰，2023年11月27日滴滴崩潰，2023年11月12日阿里云和阿里系服務(wù)集體崩潰，2023年3月5日B站崩潰……