銀行數(shù)據(jù)構(gòu)建云建設(shè)實(shí)踐思索

時(shí)間:2022-05-22 04:13:00

導(dǎo)語:銀行數(shù)據(jù)構(gòu)建云建設(shè)實(shí)踐思索一文來源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

銀行數(shù)據(jù)構(gòu)建云建設(shè)實(shí)踐思索

隨著數(shù)據(jù)大集中工程的實(shí)施,目前國內(nèi)外大型金融企業(yè)基本都建成了較大規(guī)模的數(shù)據(jù)中心。伴隨業(yè)務(wù)規(guī)模不斷發(fā)展,數(shù)據(jù)中心的IT規(guī)模也越來越大,超過千臺服務(wù)器的數(shù)據(jù)中心并不鮮見。如何有效維護(hù)管理如此大規(guī)模的數(shù)據(jù)中心,已成為數(shù)據(jù)中心運(yùn)行維護(hù)面臨的嚴(yán)峻挑戰(zhàn),特別是數(shù)據(jù)中心的研發(fā)測試環(huán)境,對“隨需應(yīng)變”提出了更高要求。云計(jì)算作為一種新型的計(jì)算資源組織、分配和使用模式,有利于合理配置計(jì)算資源并提高利用率,降低成本,在目前金融危機(jī)、節(jié)能降耗的大背景顯得尤為重要。本文將結(jié)合工商銀行在基礎(chǔ)架構(gòu)云研發(fā)方面的實(shí)踐,就金融企業(yè)數(shù)據(jù)中心如何運(yùn)用云計(jì)算這一新型服務(wù)模式來優(yōu)化提升數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)的運(yùn)行維護(hù)進(jìn)行探討。

一、數(shù)據(jù)中心運(yùn)行維護(hù)面臨的挑戰(zhàn)

當(dāng)前金融行業(yè)應(yīng)用系統(tǒng)多采用集中方式部署于數(shù)據(jù)中心,隨著金融業(yè)務(wù)的快速發(fā)展,后臺支持所需的基礎(chǔ)設(shè)施規(guī)模不斷增長,擁有幾百到幾千臺服務(wù)器的數(shù)據(jù)中心已不是少數(shù)。數(shù)據(jù)中心的日常運(yùn)行維護(hù)工作逐漸暴露出以下幾方面的挑戰(zhàn)。

(1)隨著服務(wù)器等基礎(chǔ)設(shè)施的規(guī)模越來越大,機(jī)房空間、電力消耗以及管理維護(hù)難度越來越大。

(2)傳統(tǒng)的、手工方式的環(huán)境部署效率較低,難以滿足業(yè)務(wù)服務(wù)對環(huán)境部署的時(shí)效性要求。特別是對于研發(fā)測試環(huán)境,由于環(huán)境搭建及調(diào)整一般更為頻繁,此方面矛盾也更加突出。

(3)應(yīng)用系統(tǒng)在業(yè)務(wù)高峰期或性能壓力測試階段,需要更多的系統(tǒng)資源支持,期望基礎(chǔ)架構(gòu)能夠提供彈性的、動(dòng)態(tài)的、自動(dòng)化的供應(yīng)手段。

(4)在傳統(tǒng)服務(wù)器環(huán)境中,單臺服務(wù)器業(yè)務(wù)空閑時(shí)段的資源難以整合,總體資源利用率提升受到限制。以中國工商銀行數(shù)據(jù)中心(北京)為例,用于全行應(yīng)用系統(tǒng)版本測試的適應(yīng)性測試環(huán)境的服務(wù)器數(shù)量已超過1000臺,每個(gè)季度約有30%的環(huán)境需要重新搭建,基礎(chǔ)架構(gòu)的日常管理維護(hù)壓力逐年增加。

二、云計(jì)算理念與啟示

根據(jù)云計(jì)算的服務(wù)對象范圍,云計(jì)算可以分為3種部署模式:公用云、私有云和混合云。根據(jù)云計(jì)算的服務(wù)層次和服務(wù)類型,可將云分為3個(gè)層次:基礎(chǔ)架構(gòu)即服務(wù)(IaaS)、平臺即服務(wù)(PaSS)和軟件即服務(wù)(SaaS)。不同的層,提供不同的云服務(wù)。根據(jù)美國國家標(biāo)準(zhǔn)技術(shù)研究所(NIST)的定義,云計(jì)算一般具有5個(gè)基本特征。

(1)按需自助服務(wù)。用戶可根據(jù)需要,直接從云計(jì)算供應(yīng)者處獲取服務(wù)(如:計(jì)算資源、存儲資源、網(wǎng)絡(luò)資源、開發(fā)平臺及應(yīng)用軟件等),而無需與云計(jì)算供應(yīng)者進(jìn)行人工交互。目前,一般采用用戶在網(wǎng)頁上填寫申請表單形式獲取自助服務(wù)。如果數(shù)據(jù)中心采用此方式供應(yīng)環(huán)境,將可由最終用戶直接提交環(huán)境部署服務(wù)申請,由系統(tǒng)自動(dòng)調(diào)配資源并部署環(huán)境,且節(jié)省了相關(guān)部門間(系統(tǒng)、網(wǎng)絡(luò)、設(shè)備等)的溝通成本,環(huán)境部署時(shí)效性較傳統(tǒng)手工方式有很大提高。

(2)廣泛的網(wǎng)絡(luò)接入。用戶可以使用各類客戶端平臺(筆記本電腦、手機(jī)、PDA等),按照一個(gè)規(guī)范機(jī)制(如瀏覽器),通過各種網(wǎng)絡(luò)渠道從云計(jì)算供應(yīng)者處獲取服務(wù)。此特征更多的針對公有云和混合云,而出于安全性等方面考慮,如在金融行業(yè)數(shù)據(jù)中心構(gòu)建云計(jì)算環(huán)境,一般首選私有云方式,只需保證用戶可以通過網(wǎng)絡(luò)接入云計(jì)算系統(tǒng)即可。

(3)與位置無關(guān)的資源池化。云計(jì)算供應(yīng)者的計(jì)算資源被集中整合成為一個(gè)動(dòng)態(tài)資源池,以多租戶模式服務(wù)所有用戶,不同的物理和虛擬資源可根據(jù)用戶需求動(dòng)態(tài)分配。服務(wù)商需要實(shí)現(xiàn)所分配資源的位置無關(guān)性,用戶一般不需要知道所使用資源的確切位置,但在需要的時(shí)候用戶可以指定資源位置。通過應(yīng)用資源池化的管理模式,提升數(shù)據(jù)中心整體資源使用率。

(4)快速的可伸縮性。云計(jì)算供應(yīng)者提供的服務(wù)可以自動(dòng)、快速、彈性地?cái)U(kuò)展,也可以自動(dòng)、快速、彈性地收縮。從用戶角度講,云計(jì)算提供的資源是無限的,可以選擇在任何時(shí)間獲取任何數(shù)量的資源。通過快速的可伸縮性,在很大程度上提升資源使用效率。另外,如果數(shù)據(jù)中心系統(tǒng)環(huán)境支持快速伸縮,就可滿足應(yīng)用系統(tǒng)在業(yè)務(wù)高峰期或性能壓力測試階段,其基礎(chǔ)架構(gòu)能夠提供彈性的、動(dòng)態(tài)的、自動(dòng)化的資源供應(yīng)。

(5)可度量的服務(wù)。云計(jì)算供應(yīng)者針對不同的服務(wù)類型(CPU時(shí)間、存儲空間、網(wǎng)絡(luò)帶寬等)來計(jì)量資源的使用情況及單位價(jià)格,以提高資源的管控能力和促進(jìn)優(yōu)化利用。整個(gè)系統(tǒng)資源可以通過監(jiān)控和報(bào)表的方式對供應(yīng)者和用戶透明化。對于公有云,資源供應(yīng)者可以此為依據(jù)對提供的服務(wù)進(jìn)行收費(fèi)。對于私有云(企業(yè)云),IT部門可以此作為IT成本核算依據(jù),一旦在企業(yè)內(nèi)部形成相關(guān)成本核算機(jī)制,還有利于促進(jìn)資源回收利用,減少空閑資源。筆者認(rèn)為,短期內(nèi)將云計(jì)算應(yīng)用于銀行數(shù)據(jù)中心生產(chǎn)環(huán)境還需持謹(jǐn)慎態(tài)度,但在數(shù)據(jù)中心研發(fā)測試環(huán)境環(huán)境中,云計(jì)算大有可為。特別是開展基礎(chǔ)架構(gòu)云建設(shè),將有助于解決前文提到的基礎(chǔ)架構(gòu)日常運(yùn)行維護(hù)中遇到的各類挑戰(zhàn),實(shí)現(xiàn)業(yè)務(wù)應(yīng)用環(huán)境快速部署、回收、調(diào)整以及資源集約化管理水平和快速服務(wù)能力。

三、基礎(chǔ)架構(gòu)云建設(shè)的關(guān)鍵課題結(jié)合我們的實(shí)踐探索,在銀行數(shù)據(jù)中心建設(shè)基礎(chǔ)架構(gòu)云,有如下幾項(xiàng)課題需要加以研究解決。

(1)各類資源的池化與差異化資源服務(wù)模型。在數(shù)據(jù)中心,基礎(chǔ)架構(gòu)資源主要包括各類高、中、低端服務(wù)器、存儲陣列、磁帶庫以及IP地址等。為實(shí)現(xiàn)基礎(chǔ)架構(gòu)云快速供應(yīng)和彈性服務(wù),實(shí)現(xiàn)上述資源的池化管理和統(tǒng)一管理調(diào)度機(jī)制十分必要。在此基礎(chǔ)上,可以通過規(guī)劃不同資源節(jié)點(diǎn)(比如數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器、WEB服務(wù)器等)和業(yè)務(wù)服務(wù)環(huán)境(比如綜合版本測試環(huán)境、生產(chǎn)補(bǔ)丁測試環(huán)境、壓力測試環(huán)境和培訓(xùn)環(huán)境等)對應(yīng)的資源使用規(guī)則,提供差異化的資源服務(wù)。一種可參考的資源服務(wù)模型如圖1所示。

(2)自服務(wù)界面和自動(dòng)化供應(yīng)流程。要實(shí)現(xiàn)基礎(chǔ)架構(gòu)環(huán)境的自動(dòng)化部署,需要自動(dòng)化供應(yīng)流程的支持。與此同時(shí),面向最終用戶提供自服務(wù)界面也是云計(jì)算這一新型計(jì)算模式的基本要求。圖2是啟動(dòng)一次虛擬機(jī)環(huán)境供應(yīng)的自動(dòng)化流程。當(dāng)用戶在操作界面上啟動(dòng)虛擬機(jī)供應(yīng)任務(wù)后,調(diào)用后臺任務(wù)管理器,將任務(wù)放入系統(tǒng)的任務(wù)運(yùn)行隊(duì)列。流程引擎層掃描任務(wù)運(yùn)行隊(duì)列中的待執(zhí)行任務(wù),根據(jù)任務(wù)類型及優(yōu)先級等,選取待運(yùn)行任務(wù)并調(diào)度執(zhí)行,由調(diào)度引擎層調(diào)用驅(qū)動(dòng)工具層依次完成虛擬機(jī)創(chuàng)建、操作系統(tǒng)部署和數(shù)據(jù)庫部署等一系列操作。待以上步驟執(zhí)行完成后,返回作業(yè)執(zhí)行結(jié)果。在基礎(chǔ)架構(gòu)云建設(shè)時(shí),還要充分考慮多用戶并發(fā)服務(wù)處理能力。

(3)各類基礎(chǔ)架構(gòu)資源的“驅(qū)動(dòng)程序”。正如前文所述,基礎(chǔ)架構(gòu)云平臺管理的對象主要包括各類服務(wù)器、存儲陣列和IP資源等。在數(shù)據(jù)中心傳統(tǒng)工作模式下,上述對象往往需要專業(yè)技術(shù)人員通過手工方式或者使用專門的工具軟件進(jìn)行管理維護(hù),各專業(yè)之間的協(xié)作配合要求較高,因此維護(hù)效率難以得到有效提升。在基礎(chǔ)架構(gòu)云平臺建設(shè)中,需要實(shí)現(xiàn)對上述對象的全自動(dòng)化維護(hù)操作。如果把基礎(chǔ)架構(gòu)云平臺看作一套“操作系統(tǒng)”,其下各類資源對象的自動(dòng)化維護(hù)管理功能,不妨看作是操作系統(tǒng)的各類驅(qū)動(dòng)程序。因此要實(shí)現(xiàn)云平臺的自動(dòng)化管理,各類基礎(chǔ)架構(gòu)資源的自動(dòng)化驅(qū)動(dòng)工具研發(fā)也是必需解決的關(guān)鍵課題。

四、基礎(chǔ)架構(gòu)云建設(shè)實(shí)踐

2010年以來,筆者所在的技術(shù)團(tuán)隊(duì)就基礎(chǔ)架構(gòu)云在數(shù)據(jù)中心的落地建設(shè)進(jìn)行了探索,經(jīng)過1年多的技術(shù)研究和項(xiàng)目實(shí)踐,目前已取得階段性成果。項(xiàng)目組研發(fā)的基礎(chǔ)架構(gòu)云平臺已在業(yè)務(wù)應(yīng)用系統(tǒng)環(huán)境準(zhǔn)備工作中投入實(shí)際使用。與傳統(tǒng)手工方式相比,使用基礎(chǔ)架構(gòu)云平臺進(jìn)行系統(tǒng)環(huán)境部署,效率可以提10倍以上,具體對比數(shù)據(jù)見表1。表1中數(shù)據(jù)為每套環(huán)境的部署時(shí)間,與PowerVM環(huán)境相比,VMware環(huán)境一般不涉及分配磁盤操作。

五、小結(jié)

基礎(chǔ)架構(gòu)云建設(shè)是一項(xiàng)綜合性較強(qiáng)的工作,需要基礎(chǔ)架構(gòu)各專業(yè)密切配合。在基礎(chǔ)架構(gòu)云的建設(shè)過程中,可進(jìn)一步推動(dòng)服務(wù)器虛擬化技術(shù)的實(shí)施與推廣,從而提升資源利用率,節(jié)省機(jī)房空間和電力資源。在此基礎(chǔ)上,通過自服務(wù)界面和自動(dòng)化部署流程,大幅度提升基礎(chǔ)架構(gòu)部署效率和應(yīng)對快速變化的能力,與此同時(shí),可配合完成資源申請與實(shí)施流程的調(diào)整,最終推動(dòng)數(shù)據(jù)中心基礎(chǔ)架構(gòu)環(huán)境工作方式的轉(zhuǎn)變,提升基礎(chǔ)架構(gòu)維護(hù)效率和快速供應(yīng)能力。當(dāng)然,由于不同企業(yè)的基礎(chǔ)架構(gòu)環(huán)境差異和業(yè)務(wù)服務(wù)特點(diǎn)不同,基礎(chǔ)架構(gòu)云建設(shè)目標(biāo)和實(shí)施路線可能也會(huì)有所差異。