隨著互聯(lián)網(wǎng)、云計(jì)算需求的爆發(fā)式增長(zhǎng),數(shù)據(jù)中心的規(guī)模不斷擴(kuò)大,穩(wěn)定、能耗、占地等問(wèn)題持續(xù)困擾著數(shù)據(jù)中心運(yùn)營(yíng)者,維護(hù)、持續(xù)擴(kuò)容等新的問(wèn)題接踵而來(lái)。為了應(yīng)對(duì)挑戰(zhàn)數(shù)據(jù)中心的形式也在不斷的變化。從早期的集中供電集中制冷到分布式供電分布式制冷,從機(jī)柜擺放方向的簡(jiǎn)單調(diào)整到封閉冷/熱通道,從簡(jiǎn)單劃分功能區(qū)的數(shù)據(jù)中心到現(xiàn)在流行的微模塊數(shù)據(jù)中心。今天我們來(lái)了解一下數(shù)據(jù)中心常規(guī)運(yùn)維工作的重要性并通過(guò)下文介紹熟悉數(shù)據(jù)中心常規(guī)運(yùn)維的工作內(nèi)容。
一、 運(yùn)維常規(guī)工作重要性
運(yùn)維工作面臨的挑戰(zhàn)
-
功率密度升高,給運(yùn)維人員反應(yīng)的時(shí)間更短,管理難度加大。
-
Uptime報(bào)告顯示,數(shù)據(jù)中心超過(guò)70%的故障由于人為操作失誤造成。
1、主要故障類(lèi)型:
1. 磨損所致
-
設(shè)備也有生命現(xiàn)象,累計(jì)達(dá)到某一使用程度之后,就壽終正寢,想修都沒(méi)得修,只有更新?lián)Q代,這一點(diǎn)在高精密的設(shè)備上表現(xiàn)的最明顯。
-
設(shè)備的磨損可分為有形磨損和無(wú)形磨損二種。有形磨損是指:設(shè)備在使用過(guò)程中發(fā)生的物質(zhì)磨損或由于環(huán)境自然侵蝕而造成的物理、化學(xué)變化。無(wú)形磨損是指:由于科學(xué)技術(shù)的進(jìn)步,使得設(shè)備的使用價(jià)值降低,甚至被淘汰。
2. 異常操作所致
-
幾乎所有的設(shè)備的動(dòng)作順序都有嚴(yán)格的要求,由不得你隨意操作,不遵守操作規(guī)程,只會(huì)直接導(dǎo)致或加速其產(chǎn)生故障。現(xiàn)場(chǎng)管理活動(dòng)中,未熟練的新人,錯(cuò)誤的操作、設(shè)定,都是損壞設(shè)備的最直接的“殺手”。
3. 非法改變其功能所致
-
如果設(shè)備在設(shè)計(jì)上就潛在著該功能的話(huà),那么對(duì)其對(duì)進(jìn)行改造,恐怕還無(wú)大礙,就怕沒(méi)有該項(xiàng)功能,卻硬要強(qiáng)加該功能,這會(huì)活活要了設(shè)備的“命”。
4. 超負(fù)荷使用
-
人停機(jī)不停,一天二十四小時(shí)連軸轉(zhuǎn),一年開(kāi)足三百六十五天,不壞就不停;不壞就不修,一心急著要翻本,這是“山寨廠(chǎng)”典型的設(shè)備使用方法。雖然有的設(shè)備在超負(fù)荷狀態(tài)下,暫時(shí)看不出有什么故障發(fā)生,然而超負(fù)荷運(yùn)轉(zhuǎn),卻使設(shè)備產(chǎn)生疲勞,老化、磨損進(jìn)程大大加快,最終導(dǎo)致壽命縮短。
5. 設(shè)計(jì)上潛在不良因素
-
設(shè)計(jì)時(shí)未能充分研討清楚相關(guān)事項(xiàng),匆匆上馬,導(dǎo)致使用階段故障多多,于是又進(jìn)行二次補(bǔ)丁設(shè)計(jì),三次補(bǔ)丁設(shè)計(jì)……,遲遲無(wú)法定型。這樣的設(shè)備,讓人無(wú)法放心使用。
6. 維護(hù)手法欠佳
-
一流設(shè)備,二流操作,三流維護(hù)。不把設(shè)備當(dāng)“人”看,只叫干活,不給“飯”吃,連最基本的清潔都不搞,以致小故障逐漸演變成大故障。
浴盆曲線(xiàn)
實(shí)踐證明大多數(shù)設(shè)備的故障率是時(shí)間的函數(shù),典型故障曲線(xiàn)稱(chēng)之為浴盆曲線(xiàn)(Bathtub curve)。曲線(xiàn)的形狀呈兩頭高,中間低,具有明顯的階段性,可劃分為三個(gè)階段:早期故障期,偶然故障期,嚴(yán)重故障期。浴盆曲線(xiàn)是指產(chǎn)品從投入到報(bào)廢為止的整個(gè)壽命周期內(nèi),其可靠性的變化呈現(xiàn)一定的規(guī)律。如果取產(chǎn)品的失效率作為產(chǎn)品的可靠性特征值,它是以使用時(shí)間為橫坐標(biāo),以失效率為縱坐標(biāo)的一條曲線(xiàn)。因該曲線(xiàn)兩頭高,中間低,有些像浴盆,所以稱(chēng)為“浴盆曲線(xiàn)”。失效率隨使用時(shí)間變化分為三個(gè)階段:早期失效期、偶然失效期和耗損失效期。
維護(hù)的常規(guī)工作
二、工作內(nèi)容及關(guān)系
1、上電調(diào)試
關(guān)注點(diǎn):
-
檢查新設(shè)備或系統(tǒng)是能否正常上電啟動(dòng);檢查擴(kuò)容后、改造后的設(shè)備或系統(tǒng)是否能正常上電啟動(dòng),驗(yàn)證設(shè)計(jì)的合理性。
-
檢查修復(fù)后的設(shè)備或系統(tǒng)能否正常上電啟動(dòng),檢查設(shè)備故障和隱患的處理情況。
-
初始調(diào)試配置參數(shù)對(duì)設(shè)備或者系統(tǒng)的穩(wěn)定運(yùn)行至關(guān)重要,參數(shù)更改不當(dāng),將造成系統(tǒng)無(wú)法正常工作,嚴(yán)重的甚至損壞系統(tǒng)。
工作安排:
-
涉及人員:專(zhuān)業(yè)工程師(配電等專(zhuān)業(yè))、運(yùn)維技術(shù)經(jīng)理、設(shè)備商工程師。
-
人員職能:根據(jù)設(shè)備商上電SOP,由專(zhuān)業(yè)工程師或者設(shè)備商工程師進(jìn)行上電啟動(dòng)。根據(jù)設(shè)備商操作SOP,由專(zhuān)業(yè)工程師或者設(shè)備商工程師進(jìn)行參數(shù)調(diào)試。
-
補(bǔ)充說(shuō)明:
SOP:SOP是Standard Operating Procedure三個(gè)單詞中首字母的大寫(xiě),即標(biāo)準(zhǔn)作業(yè)流程,就是將某一事件的標(biāo)準(zhǔn)操作步驟和要求以統(tǒng)一的格式描述出來(lái),用來(lái)指導(dǎo)和規(guī)范日常的工作。
一體化UPS場(chǎng)景上電調(diào)測(cè)
-
基本原則:
1. 雙路輸入或雙路供電時(shí),建議先給A路上電,再給B路上電。
2. 給一體化UPS上電,然后給照明、空調(diào)上電,再然后給機(jī)房管理系統(tǒng)上電,最后給IT負(fù)載上電。
-
基本流程:
1. 上電前檢查
2. 系統(tǒng)上電調(diào)試
-
操作步驟
步驟1 合上模塊外一體化UPS 前端電源輸入市電空開(kāi),給一體化UPS 柜上電,一體化UPS柜上方電源指示燈點(diǎn)亮,上電正常。
步驟2 閉合一體化UPS 輸入空開(kāi)QF1,等待約2~3 分鐘, MDU 顯示屏啟動(dòng)。設(shè)置語(yǔ)言、時(shí)間、網(wǎng)絡(luò)參數(shù)、系統(tǒng)參數(shù)(單并機(jī)、電壓頻率、電池容量、單體數(shù)量)。
步驟3 確認(rèn)系統(tǒng)旁路輸入正常,系統(tǒng)由旁路供電,在監(jiān)控顯示模塊中查看系統(tǒng)運(yùn)行狀態(tài)圖,確認(rèn)系統(tǒng)是否已經(jīng)由旁路供電。步驟2 閉合一體化UPS 輸入空開(kāi)QF1,等待約2~3分鐘, MDU顯示屏啟動(dòng)。
步驟4 開(kāi)啟逆變器。
步驟5 逆變器開(kāi)啟后,一體化UPS 由逆變供電, MDU 中“旁路供電”告警消失,查看系統(tǒng)運(yùn)行狀態(tài)圖確認(rèn)系統(tǒng)是否由主路逆變供電。
步驟6 核對(duì)實(shí)際電池容量與單體數(shù)和監(jiān)控界面中設(shè)置的值是否一致,用萬(wàn)用表測(cè)試負(fù)電池組電壓絕對(duì)值與正電池組電壓之和大于一定值( 2×電池單體數(shù)),用以檢測(cè)電池組連接是否正常。
步驟7 確認(rèn)電池組已連接好后,閉合電池組輸入空開(kāi)。
步驟8 (可選)閉合一體化UPS 照明輸出空開(kāi),查看交流執(zhí)行器“ PWR”指示燈是否亮起。給照明上電。
步驟9 合上一體化UPS 柜空調(diào)空開(kāi),給空調(diào)上電。
步驟10 依次閉合一體化UPS IT 輸出空開(kāi),為對(duì)應(yīng)設(shè)備上電。
步驟11 檢查監(jiān)控部分是否上電正常。
-
例行維護(hù)
關(guān)注點(diǎn):
-
檢查設(shè)備的部件完整性、清潔度和老化程度。
-
記錄設(shè)備日常運(yùn)行過(guò)程中參數(shù)、告警、日志和狀態(tài),及時(shí)更新形成動(dòng)態(tài)SCP,后期進(jìn)行評(píng)估。
-
通過(guò)操作檢查設(shè)備的功能、部件運(yùn)行情況。
-
定期進(jìn)行設(shè)備外、內(nèi)部的清理。
-
檢查設(shè)備、系統(tǒng)及外部環(huán)境是否存在隱患。
工作安排:
-
涉及人員:運(yùn)維值班員、運(yùn)維值班班長(zhǎng)、專(zhuān)業(yè)工程師、運(yùn)維技術(shù)經(jīng)理、設(shè)備商工程師。
-
人員職能:由運(yùn)維技術(shù)經(jīng)理編寫(xiě)或者設(shè)備商提供MOP,專(zhuān)業(yè)工程師或設(shè)備商工程師根據(jù)MOP進(jìn)行周期性的維護(hù)、養(yǎng)護(hù)工作;由運(yùn)維值班班長(zhǎng)制定例行維護(hù)人員計(jì)劃,運(yùn)維值班員按照計(jì)劃進(jìn)行例行維護(hù)巡檢;由運(yùn)維值班班長(zhǎng)刷新SCP數(shù)據(jù)中心,并形成周期性評(píng)估報(bào)告。
補(bǔ)充說(shuō)明:
MOP:MOP是Maintenance Operating Procedure三個(gè)單詞中首字母的大寫(xiě),即維護(hù)作業(yè)流程,對(duì)機(jī)房關(guān)鍵基礎(chǔ)設(shè)施設(shè)備的每次維護(hù)、維修、安裝操作進(jìn)行制定作業(yè)程序,部分MOP中也會(huì)包含SOP。可以要求設(shè)備供應(yīng)商提供MOP的建議,但對(duì)于MOP最終確認(rèn)審核的責(zé)任在于運(yùn)維團(tuán)隊(duì),批準(zhǔn)責(zé)任在于運(yùn)維管理團(tuán)隊(duì)。
-
系統(tǒng)聯(lián)調(diào)
關(guān)注點(diǎn):
-
查找系統(tǒng)設(shè)計(jì)、設(shè)備性能是否存在影響整體的“短板”。
-
檢測(cè)設(shè)備安裝是否適應(yīng)日后的運(yùn)行維護(hù)。
-
檢驗(yàn)設(shè)備安裝和運(yùn)行質(zhì)量是否穩(wěn)定可靠等。
工作安排:
涉及人員:專(zhuān)業(yè)工程師(配電等專(zhuān)業(yè))、運(yùn)維技術(shù)經(jīng)理、運(yùn)維值班員、運(yùn)維值班班長(zhǎng)、設(shè)備商工程師。
基于數(shù)據(jù)中心項(xiàng)目的最佳實(shí)踐,IBM主張采用“五步法”流程對(duì)數(shù)據(jù)中心的基礎(chǔ)設(shè)施進(jìn)行聯(lián)調(diào)測(cè)試。即,
第一步(Level 1)——圖紙資料評(píng)審與調(diào)試計(jì)劃制訂
第二步(Level 2)——工廠(chǎng)驗(yàn)收測(cè)試
第三步(Level 3)——現(xiàn)場(chǎng)檢查
第四步(Level 4)——單系統(tǒng)驗(yàn)收測(cè)試
第五步(Level 5)——綜合系統(tǒng)性能聯(lián)動(dòng)調(diào)試驗(yàn)證
“五步法”流程也是國(guó)際公認(rèn)的數(shù)據(jù)中心專(zhuān)業(yè)調(diào)試驗(yàn)證工作流程規(guī)范:
第一步(Level 1)——圖紙資料評(píng)審與調(diào)試計(jì)劃制訂
-
調(diào)試驗(yàn)證工作團(tuán)隊(duì)架構(gòu)與分工
-
圖紙資料所反映的系統(tǒng)是否具備“可測(cè)試性”
-
圖紙資料是否已經(jīng)明確操作順序
-
測(cè)試驗(yàn)證所需資源(人員、時(shí)間、能源、負(fù)載、儀器)是否落實(shí)
-
調(diào)試總體計(jì)劃的制訂
第二步(Level 2)——工廠(chǎng)驗(yàn)收測(cè)試
-
對(duì)電力系統(tǒng)、空調(diào)系統(tǒng)的核心設(shè)備在出廠(chǎng)前進(jìn)行性能驗(yàn)證
-
就測(cè)試與驗(yàn)證發(fā)現(xiàn)的問(wèn)題在工廠(chǎng)進(jìn)行整改糾正
-
避免或減少設(shè)備故障對(duì)現(xiàn)場(chǎng)施工的延誤
-
業(yè)主設(shè)備采購(gòu)合同驗(yàn)收的重要標(biāo)志
第三步(Level 3)——現(xiàn)場(chǎng)檢查
-
檢查現(xiàn)場(chǎng)安裝情況與設(shè)計(jì)圖紙相符。
-
檢查現(xiàn)場(chǎng)電源條件安全可用。
-
檢查現(xiàn)場(chǎng)安全狀況符合運(yùn)行調(diào)試工作的要求。
-
運(yùn)行調(diào)試驗(yàn)證用的設(shè)備設(shè)施到場(chǎng)就緒。
第四步(Level 4)——單系統(tǒng)驗(yàn)收測(cè)試
-
設(shè)備上電,系統(tǒng)啟動(dòng)測(cè)試。
-
在設(shè)計(jì)負(fù)載水平下測(cè)試系統(tǒng)功能,空調(diào)系統(tǒng)負(fù)荷不低于30%,電力系統(tǒng)負(fù)荷不少于單臺(tái)設(shè)備的額定容量。
-
在各冗余系統(tǒng)內(nèi)驗(yàn)證故障切換模式。
-
在各系統(tǒng)的計(jì)量點(diǎn)、控制點(diǎn)和數(shù)據(jù)收集點(diǎn)進(jìn)行驗(yàn)證校準(zhǔn)。
-
記錄備案測(cè)試結(jié)果與系統(tǒng)效率。
第五步(Level 5)——綜合系統(tǒng)性能聯(lián)動(dòng)調(diào)試驗(yàn)證
-
模擬電、水等外部資源供應(yīng)中斷,檢驗(yàn)系統(tǒng)響應(yīng)與切換模式。
-
空調(diào)系統(tǒng)熱負(fù)荷模擬測(cè)試,空調(diào)系統(tǒng)負(fù)荷從0逐步增加到100%,檢驗(yàn)空調(diào)系統(tǒng)各部分的性能。
-
系統(tǒng)集成測(cè)試,綜合測(cè)試電氣、空調(diào)、消防與智能化控制等多個(gè)系統(tǒng)的接口性能。
-
在設(shè)計(jì)滿(mǎn)負(fù)載下進(jìn)行多系統(tǒng)連續(xù)運(yùn)轉(zhuǎn)(一般不少于12小時(shí))測(cè)試,檢驗(yàn)系統(tǒng)的穩(wěn)定性。
-
記錄備案測(cè)試結(jié)果與系統(tǒng)效率。
-
故障處理
關(guān)注點(diǎn):
-
故障應(yīng)急預(yù)案,執(zhí)行冗余方案盡快恢復(fù)業(yè)務(wù)或保證業(yè)務(wù)不中斷。
-
故障清除處理,根除故障并行政討論小組研討根源問(wèn)題,并形成解決方案(如擴(kuò)容、改造、優(yōu)化等)。
工作安排:
-
涉及人員:專(zhuān)業(yè)工程師(配電等專(zhuān)業(yè))、運(yùn)維技術(shù)經(jīng)理、設(shè)備商工程師。
-
人員職能:根據(jù)運(yùn)維技術(shù)經(jīng)理和設(shè)備工程師編制EOP,并在故障發(fā)生期間由專(zhuān)業(yè)工程師或者設(shè)備商工程師按照EOP進(jìn)行故障應(yīng)急預(yù)案操作。后期根據(jù)SOP進(jìn)行設(shè)備系統(tǒng)故障清除處理。
補(bǔ)充說(shuō)明:
EOP:EOP是Emergency Operating Procedure三個(gè)單詞中首字母的大寫(xiě),即應(yīng)急作業(yè)流程,突發(fā)設(shè)備或者系統(tǒng)故障時(shí),為保證業(yè)務(wù)不中斷或者恢復(fù)業(yè)務(wù)而啟動(dòng)冗余或備用系統(tǒng)而需要執(zhí)行的操作流程。
部件更換
關(guān)注點(diǎn):
-
達(dá)到使用壽命的設(shè)備系統(tǒng)部件,通過(guò)更換恢復(fù)設(shè)備系統(tǒng)正常運(yùn)行。
-
存在隱患、發(fā)生故障的設(shè)備系統(tǒng)部件,通過(guò)更換恢復(fù)設(shè)備系統(tǒng)正常運(yùn)行。
工作安排:
-
涉及人員:專(zhuān)業(yè)工程師(配電等專(zhuān)業(yè))、運(yùn)維技術(shù)經(jīng)理、設(shè)備商工程師。
-
人員職能:根據(jù)運(yùn)維技術(shù)經(jīng)理和設(shè)備工程師根據(jù)SOP更換設(shè)備系統(tǒng)部件。
更換一體化配電柜&精密配電柜MCB
操作步驟
步驟1 打開(kāi)配電柜前門(mén),將配電柜輸入、輸出開(kāi)關(guān)切換到OFF 狀態(tài),且上下級(jí)開(kāi)關(guān)也斷開(kāi)。
步驟2 拆卸配電柜面板上的螺釘保留好備用,并取下面板。
步驟3 拆卸MCB 左右兩端的線(xiàn)纜。
步驟4 用一字螺絲刀將MCB 黑色卡扣件向外撥動(dòng),如圖所示,然后將MCB 沿配電柜內(nèi)側(cè)方向拆卸。
步驟5 將新的MCB 裝上。
步驟6 連接線(xiàn)纜。MCB 線(xiàn)纜推薦接線(xiàn)孔位如所示。
步驟7 將面板重新裝回配電柜。
結(jié)束。