雙十一(yī)又(yòu)來(lái)了αε(le)，今年(nián)是(shì)第10個(gè)年(nián)頭。
對(duì)于大(dà)部分(fēn)人(rén)意味著(zhe)剁手，可(k÷φě)對(duì)于N多(duō)背後護持雙11的(de)IT人(r♦♥∞én)來(lái)說(shuō)，那(nà)就(jiù)是"♠(shì)赤果果的(de)——Just剁₩ €☆ IT！
每逢“雙十一(yī)”最緊張的(de)不(bù)是(s ₹$hì)商鋪理(lǐ)貨，也(yě)不(bù)是(shì)網友(yǒ∏✘•u)緊盯大(dà)促商品準備秒(miǎo)殺∏♦，而是(shì)網購(gòu)幕後的(de)運維人(rén)員(y$∑uán)，他(tā)們最擔心：什(shén)''πε麽網絡中斷、應用(yòng)卡頓、響應速度慢(mà™α←"n)，服務器(qì)宕機(jī)…&heφ ♥↑llip;
雙十一(yī)作(zuò)為(wèi)電(diàn)商₹₩↔$ IT 部門(mén)的(de)頭等大(dà¥↑©®)事(shì)，大(dà)促前，運維人(rén)員(yuán)就(jiù)붕★需要(yào)早早地(dì)做(zuò)好(hǎo)多(duō)套預備™∏≥方案，并時(shí)刻緊繃著(zhe)神經，經曆著(zhe)上(shàng)φλ₹百次模拟演練。他(tā)們在後端有(yǒu)多(duō<&)少(shǎo)不(bù)眠不(bù)休的(de)夜晚，不(bù)得(de×∞)而知(zhī)。幾年(nián)前，一(yī)場(chǎng)秒≈↓±(miǎo)殺讓服務器(qì)宕機(jī)是(shì)→≠¶常态，現(xiàn)在，一(yī)秒(miǎo)數(shù)十萬↕&的(de)訂單，服務器(qì)依然堅挺。毫Ω€ε§無疑問(wèn)，支撐起這(zhè)一(yī)切的(de)σ≤σ是(shì)強有(yǒu)力的(de)技(jì)術(shù→"®<)和(hé)運維人(rén)一(yī)個(gè)個(gè)不→≤≈(bù)眠的(de)夜晚。
看(kàn)似簡單的(de)雙十一(yī)背後牽扯到(dào)是(>shì)包括支付、架構、數(shù)據庫、網絡、運維、電(¶ α₩diàn)力、客服、物(wù)流等整個(gè)商業(yè)配套基礎設施的(d§≥e)協同和(hé)考驗。
雙十一(yī)大(dà)促的(de)那(n∏♥à)些(xiē)年(nián) 運維邁過的(de)坑
天貓雙十一(yī)大(dà)促最早開(kāi)始于 2009 年(nián)，✔∑₹那(nà)時(shí)候還(hái)是(shβ"ì)淘寶商城(chéng)，一(yī)天的(de) GMV∏®↑ 隻有(yǒu)幾千萬，而且還(hái)沒有(yǒu)零點全 ☆民(mín)瘋搶的(de)概念。在大(dà)促∏ε∑前工(gōng)程師(shī)們基本上(shàng)會(huì)根♥≠'"據各自(zì)的(de)經驗判斷，比如(rú)服務器(qì)的☆(de)當前負載、應用(yòng)的(de)當前 RT 和(hé) QPS，π¶β™判斷每台服務器(qì)最大(dà)能(néng)支撐多(du≤↑ō)少(shǎo)能(néng)力等，然後幾個(gè)人(rén)討(tǎo∑>✘)論後就(jiù)決策拍(pāi)闆，某某核心應用(yòng)各自(zì)要✔€(yào)加多(duō)少(shǎo)台服務器(qì)， φ到(dào)底要(yào)加多(duō)少(sh₽↓<↓ǎo)服務器(qì)，實際上(shàng)大(dà)家(ji↑ā)的(de)心裡(lǐ)沒底，實在不(bù)γ♣≠π放(fàng)心臨時(shí)再多(duō)申請(qǐng)擴容'™。總之這(zhè)個(gè)階段業(yè)務量也(yě)小(xiǎ€☆o)，也(yě)能(néng)應付過去(qù)。
後來(lái)幾年(nián)随著(zhe)天貓品牌的(de)提升，雙十一♠≈↕↔(yī)大(dà)促逐年(nián)爆發，原來(lái)的(♣"β✔de)運維方式已經無法适用(yòng)。™↔γ業(yè)務發展迅速，後端的(de)應用(yòng)數(shù)量也(y• ₹≥ě)大(dà)大(dà)增加，各個(gè)應用(yòng)系統之間(j•'iān)的(de)調用(yòng)鏈路(lù)¥≠"Ω錯(cuò)綜複雜(zá)。大(dà)促前到(dào)底要(yào)準™←≤備擴容多(duō)少(shǎo)資源？不(bù)能(né♦₽©εng)拍(pāi)腦(nǎo)袋熱(rè)，因為(&♦wèi)你(nǐ)申請(qǐng)資源太多(duō)會(hu'↑ì)可(kě)能(néng)被拒絕，申請(qǐng)少(shǎo)了(le)你₽γ(nǐ)要(yào)承擔更大(dà)的(de)風(fē×ε>ng)險。
這(zhè)時(shí)候用(yòng)線上(shàng)壓測的(de)©方式來(lái)解決，比如(rú)可(kě)以直接在生↔€∑(shēng)産環境抽取 1 台服務器(qì)，通(tō♣±ng)過模拟回放(fàng)或者直接引入♥"多(duō)倍流量做(zuò)壓測，根據壓測結₩₽果計(jì)算(suàn)出單台服務器(qì)的(de)最大(dà)可(k≤✘ě)承載能(néng)力，然後用(yòng)數(shù)<♣字來(lái)說(shuō)話(huà)，去(qù)申請(qǐng)擴容。還(βΩ♠®hái)有(yǒu)就(jiù)是(shì)←♠₹δ即使容量規劃做(zuò)到(dào)位了(±€♥le)，但(dàn)在零點峰值的(de)時(shí)候還(hái)是≥₹∏(shì)可(kě)能(néng)會(huì)超出預期，系統還(hφ₩ái)是(shì)會(huì)擠爆。所以又(yòu)引入了(le)限流和(hé≈ ×$)降級，限流就(jiù)是(shì)對(duì)各個(gè)應用 ∏(yòng)設置一(yī)個(gè)最大(Ω¥∏₽dà)阈值，超過阈值就(jiù)立刻拒絕新的(de)請(qǐng)求，這(z¥↔hè)樣的(de)好(hǎo)處就(jiù)是↕Ω≈∑(shì)保護應用(yòng)，避免雪(xuě)崩。
還(hái)有(yǒu)就(jiù)是(shì)降∞σ級，由于應用(yòng)太多(duō)，在大®δ☆±(dà)促的(de)期間(jiān)，可(kě)以關閉部分•'(fēn)非核心功能(néng)，保證交易主流程的(d÷↔>e)能(néng)力最大(dà)化(huà)。那(nà)個(gè)階段的(de≈ )壓測也(yě)不(bù)是(shì)完€∏全精确的(de)，主要(yào)問(wèn)題是(shì)壓測←σ>的(de)局限性，隻是(shì)對(duì)某個(gè)應用(yòng)做(z♣∑≥'uò)單獨壓測，但(dàn)是(shì)應用(yòng)之間(jiān≠↔♦)是(shì)有(yǒu)依賴有(yǒu)關聯的®≈®≤(de)，特别是(shì)一(yī)些(σ≤₽xiē)共享服務中心，基本上(shàngσ≈σε)被所有(yǒu)應用(yòng)都(dōu)依賴調用 €→(yòng)，那(nà)怎麽辦呢(ne)？後來(lái)•™幾年(nián)時(shí)間(jiān)又(yòu)研發出新的(de)₹★壓測工(gōng)具，全鏈路(lù)壓測。這(zhè)個(gè)∏≈♦對(duì)于容量規劃來(lái)說(shuōφ≠"÷)，是(shì)全新的(de)思路(lù)，直接≤∑♥¶在生(shēng)産環境上(shàng)通(tōng)過模拟複制(zh♥ì)産生(shēng)大(dà)批的(de±↓←÷)流量，每個(gè)環節都(dōu)會(huì)被壓測到(dào)，并有(y♥αǒu)相(xiàng)應的(de)監控系統配套，來(lái)找出瓶頸點在哪裡☆✘(lǐ)，并迅速優化(huà)。而且這(zhè)個(gè)過程被自(zì)動σ€化(huà)完成。
可(kě)見(jiàn)，自(zì)動化(huà)運維是(shì)大(dàε™→)勢所趨。
零點瘋搶背後的(de)運籌帷幄
現(xiàn)在的(de)電(diàn)商雙十一(yī)大(dà)促活動仍舊('®jiù)延續零點瘋搶模式，對(duì)于應用(yòng)系統保障來(lái)∑§Ω說(shuō)，能(néng)否順利扛過前 15 分(♥≥≈¥fēn)鐘(zhōng)，甚至是(shì)前幾分(fēn)鐘'↑(zhōng)，成為(wèi)最核心的(de)保障任務。運維界大(Ω☆αdà)咖給出了(le)以下(xià)幾點建議(yì)•÷：能(néng)否順利扛過前 15 分(fēn)鐘(zhōng)，♥∞甚至是(shì)前幾分(fēn)鐘(zhōn↑φ★♦g)，成為(wèi)最核心的(de)保障任務。具體(×tǐ)給出了(le)以下(xià)幾點建議(yì)：
雙十一(yī)大(dà)促是(shì)最典型的(de)彈↓€₹性場(chǎng)景
彈性是(shì)雲計(jì)算(suàn)的(de)最大(dà)優勢，γ♥而大(dà)促是(shì)最典型的(de)彈性場(chǎng)景。
随著(zhe)雲計(jì)算(suàn) ™特别是(shì)公有(yǒu)雲的(de©×)普及，現(xiàn)在的(de)運維人(rén)員(yu§↓♠án)基本上(shàng)無需關注機(jī)房(fáng)、網絡、操作(zu★♥$↔ò)系統等底層設施。在不(bù)斷地(dì)演練後，如(rú)今的(de)電(φ™diàn)商平台早已采用(yòng)彈性可(kě)擴展的(de)雲計(≠β₩jì)算(suàn)平台，配合分(fēn✘♥ )布式數(shù)據，高(gāo)效的(de)∞× CDN 分(fēn)發來(lái)實現(xiàn)負載均衡♥₽•，避免在雙十一(yī)淩晨高(gāo)并發狀态下(xià)崩盤。運維人←↓(rén)員(yuán)将更多(duō)精力轉移到(dào)快(kuàiφ&)速上(shàng)線，快(kuài)速叠代，去(qù)支持&×₹®業(yè)務發展。
大(dà)促活動的(de)流量跟日(rì)常β✘±完全不(bù)在一(yī)個(gè)量級，完全可(kě)以利用(yòng)雲↕β資源的(de)按需使用(yòng)，來(lái)達到(dào)擴容的(¥≥λde)需求，而且在成本上(shàng)是(sε↓hì)巨大(dà)的(de)節省。除了(le)擴容以 ↓↔外(wài)，當然還(hái)需要(yào)準備應急預案，整>©•理(lǐ)出當天可(kě)能(néng)出現(xiàn)的(de)異常情況，提π 前預演。
除去(qù)上(shàng)述，所有(yǒu)運維δΩ♦團隊還(hái)需要(yào)提前制(zhì)定值班計(jì)劃，對(duì"↔≠≠)雙十一(yī)當天可(kě)能(néng)發生(shēng)的(de♦↕β)各種突發情況預案，雙十一(yī)各時(shí)段應該關注的(de)關♣≠♣ 鍵點進行(xíng)詳盡計(jì)劃。總之，每年(nφ'βián)雙十一(yī)都(dōu)是(shì)一(yī)次檢驗，一(yī)次€¶ ₩大(dà)考。細節決定成敗，對(duì)全體(t★≠∞ǐ)運維人(rén)而言，必須所有(yǒu)細節都←φ'∑(dōu)關注到(dào)，演練到(dào)，準備到♣©©(dào)，才足以從(cóng)容應對(duì)每一(y€☆♥ī)年(nián)的(de)雙十一(yī£<)大(dà)促。
平台的(de)選擇至關重要(yào)
選擇一(yī)個(gè)好(hǎo)的(de€ )服務商對(duì)于電(diàn)商企業(yè)至關 ₽σ重要(yào)，神州光(guāng)大(dà)是(↔δshì)利用(yòng)共享經濟模式，通(tōng)過 φ≈互聯網平台聚合工(gōng)程師(shī)資源，為(wèiΩΩ✘λ)客戶提供有(yǒu)質量保證的(de)按需使用(yòng)工(gōng)程 β'師(shī)資源的(de)IT服務的(de)互聯網平台公司。↑'γ
諸如(rú)雙十一(yī)這(zhè)樣的(de)彈性場(c€♥ βhǎng)景，除了(le)對(duì)設備、計(jì)算(suàn•')資源等需求會(huì)出現(xiàn)爆發式增長(cháng)，→↔這(zhè)期間(jiān)對(duì)工(gōng)程師(shī)需求也(≥×÷yě)會(huì)大(dà)大(dà)增加，×≥神州光(guāng)大(dà)廣泛的(de)工(gō§≤€ng)程師(shī)資源，随時(shí)滿足客戶各種場(chǎng)景下∏<✘(xià)的(de)人(rén)員(yuán)需求，新增設備的(de)安裝≈≤ 調試、大(dà)促前的(de)巡檢、突發∏α的(de)緊急故障神行(xíng)工(gōng)程師(shī)都(d$→ōu)可(kě)以快(kuài)速響應并提<♠供現(xiàn)場(chǎng)服務。幫企業(→ "yè)順利度過雙十一(yī)。
