虛擬技術基礎上的集群自適應能耗管理

第一章 緒論

1.1 研究背景與意義
一直以來，計算機行業的研究重點一直是如何提高系統的性能，以摩爾定律為標準，計算機的性能一直呈線性增長，計算機所消耗的能源也一直不斷增加，隨著信息技術的迅速發展，各個行業對信息系統的依賴程度越來越高，在此趨勢下，大型數據中心作為提供所需服務的IT基礎設施，其建設規模和推廣力度都空前增加，而云計算的興起和發展使得數據中心的重要性得到進一步加強。
社會的需求極大地促進了大型數據中心的發展，但其高能耗問題一直是制約其發展的關鍵因素，而且巨大的能耗所產生的二氧化碳對環境也會造成很大的影響，這也是各國非常關注的問題，根據美國聯邦環境保護署2007年的報告，美國數據中心的耗電量2006年已經占到美國全年耗電量的1.5%，而且能耗總量將在2011年再翻一番[1]。2007年西歐數據中心耗電量較2006年增長了13%。根據IDC的報告[2], 在過去的幾十年當中，數據中心的計算和制冷所消耗的能源已經增長了400%，并且這一數字還會繼續增加。目前由于IT硬件和數據中心耗電量大而帶來的碳排放的問題，已經成了世界碳排放的主要來源之一，大約占全球二氧化碳排放量的2%，相當于整個航空工業的二氧化碳排放量。能源消耗所帶來的成本已經成為IT業行業所消耗運營成本的30%到50%。根據一份權威預測，服務器在其服役期間能源消耗的總花費將高于其硬件花費，控制并降低數據中心能耗的技術領域已經成為工業界和學術界的研究熱點。
為了減小巨大的能源消耗所帶來的各種問題，各國政府一方面投入巨資開發新能源技術，一方面鼓勵推行節能計劃，美國通過法案授權美國環境保護署（EPA）對數據中心能耗的增長進行分析研究,并提出一系列降低能耗措施[3]。歐盟也發布了指令，力爭到2020年使數據中心的整體能耗降低20%。中國經濟的快速發展，使得其對計算和存儲的需求也在以兩位數的速度快速增長。近年來，中國一方面對第一代數據中心進行大規模的改造和擴展，另一方面也在加快第二代數據中心的 建 設 。 然 而 國 內 絕 大 部 分 數 據 中 心 的 電 能 利 用 率 PUE(Power UsageEffectiveness) 較低。一項研究表明，在中國每生產一度電平均要排放0.96克二氧化碳，這大大高于國際平均值，由此可以看出，建設綠色數據中心有助于我國履行其減少二氧化碳排放的承諾，提高能源利用率，減少對環境的污染。

1.2 研究目標
本論文旨在提出一種基于虛擬化技術的資源管理方法，針對虛擬化數據中心的能耗管理問題，構建一種新型的資源管理框架，對數據中心的服務器進行動態能耗數據采集，在保證服務質量的前提下，通過動態遷移虛擬機和開關閉物理機來實現數據中心能耗的優化。本課題還將構建原型測試平臺，為將來的大規模綠色數據中心的建設提供理論支持和關鍵技術支撐。具體工作如下：
1） 構建一種新型的針對虛擬化數據中心的全局資源管理系統，該系統將數據中心的所有物理機和虛擬機抽象成一個資源庫，庫中的每個物理機和虛擬機的CPU利用率、內存利用率、虛擬機中應用程序的服務質量都能被及時獲取。
2) 實現數據中心全局資源分配的動態性和合理性。根據收集到的虛擬機的狀態信息，以及收集到的虛擬機中應用程序的服務質量的信息，針對服務質量的要求，預測所需要的物理機資源集合，針對數據中心負載實時變化的特征，通過負載整合、動態遷移和在線喚醒等策略提高整體系統的資源利用率，進而降低功耗。
3） 設計數據采集裝置，開發圖形顯示界面，實時顯示數據中心能耗的動態變化。根據采集到的各項數據指標，設計一種智能的調度算法，動態調整分配給每個虛擬機的資源，實時調節物理機器的功耗和性能狀態，使得資源的分配具有實時性和精確性。

1.3 國內外研究現狀
1.3.1 概述
目前大多數企業為保證其服務質量，所部署的服務器數量均是按照其最高負載的情況進行配置，而IBM的調查顯示，一天中的服務請求只有在極短的時間段內服務器才會滿負荷運行，這就造成了數據中心的資源利用率非常低，研究表明，大部分數據中心的平均利用率在3%-30%之間。但是服務器在低利用率情況下所消耗的能源與滿負荷時相差很小，服務器不管是一直處在使用狀態，還是20%的時間處在運行狀態，其所消耗的電能和釋放的熱量基本一致，這就意味著大部分能源都被浪費掉了。
當前針對數據中心服務器的節能研究，主要集中在以下幾個方面：
1) 功耗封頂(Power Capping)[4-7]：通過對服務器能耗進行動態設置或封頂，幫助用戶重新分配數據中心里的制冷和電力資源。用戶可以根據服務器監控到的最大實際功耗來設置其能源使用峰值，減少不必要的過度供給，將節省下來的電力可以重分派給新的系統；即在總電力一定的情況下，功耗封頂允許用戶向數據中心里增加更多的機器。
2) 服務器整合[8-10]：這是目前常見的一種方法，其核心思想是通過區分資源的優先次序并按照需求，將IT系統資源分配給最需要它們的工作負載，以此來簡化管理和提高效率，從而減少為單個工作負載峰值而儲備的資源，減少服務器數量，提高服務器的利用率，降低數據中心能耗，降低硬件購置的成本，減少數據中心占用的空間，提高維護人員的工作效率，并且能夠快速部署新的應用。

第二章 數據中心能耗管理現狀

由于數據中心自身巨大的能源消耗，功耗管理技術一直是數據中心管理領域的研究熱點，前人的很多研究成果已經在降低數據中心的功耗方面得到了驗證，但那些成果一般只能應用于傳統的數據中心，在當前絕大部分數據中心都是基于虛擬化技術構建的情況下，如何在虛擬化環境下有效管理數據中心的能耗，是當前功耗管理領域的一大難點，本章首先對虛擬化技術進行簡要的介紹，接著分析虛擬化技術在數據中心中的應用，其中將重點介紹其在功耗控制方面的作用，然后介紹幾種與虛擬化技術相關的常見能耗管理框架，因為近年來，虛擬化數據中心的資源管理對降低數據中心的功耗管理起著越來越重要的作用，所以最后將介紹一些虛擬化數據中心中常見的資源管理軟件。

第三章 CREMS 系統設計與實現..............................................................25
3.1 CREMS 系統簡介 .......................................................................25
3.2 云資源管理軟件 OpenNEbula....................................................................25
3.2.1 OpenNEbula 結構簡介 .......................................................................25
3.2.2 OpenNEbula 的優勢和不足 ...............................................................28
3.3 CREMS 系統的原理與實現...............................................................29
3.3.1 基本設計思想 ............................................................................29
3.3.2 系統流程 ...............................................................................30
3.3.3 CREMS 性能管理器 ..........................................................................31
3.3.4 CREMS 調度管理器 ..........................................................................32
3.3.5 虛擬機遷移的執行機制 .....................................................................34
3.3.6 物理機的功耗狀態調節 .....................................................................35
3.4 本章小結 .......................................................................................36
第四章 實驗環境搭建與數據分析 ............................................................37
4.1 引言 ..................................................................37
4.2 CPU 利用率和功耗的關系 ............................................................37
4.3 CREMS 系統負載生成器...............................................................38
4.4 實驗環境搭建 .....................................................................................41
4.5 CPU 預測器性能評估 ....................................................................41
4.6 CREMS 調度器性能驗證.................................................................42
4.7 CREMS 能耗評估 .........................................................................43
4.8 本章小結 ..............................................46
第五章 工作總結和展望 ......................................................46

第五章 工作總結和展望

針對現存的云資源管理框架都具有的不足，在這篇文章中我提出了CREMS系統，在運行時監視虛擬機資源，并動態地根據虛擬機應用的負載整合虛擬機資源。首先CREMS系統改變了現有云資源管理器對虛擬機的看待方式，虛擬機不再是當作任務，虛擬機的開始與結束不再被認為是任務的開啟與停止。認為虛擬機會持續不斷地執行相當長的一段時間，在這段時間內不斷監視虛擬機資源利用率的動態變化，并做出預測，判斷虛擬機需要多少物理資源。CREMS系統通過獲得網頁或者數據庫這些服務器應用中都很常見的響應時間作為描述應用性能的指標，根據這個指標和CREMS監視到的動態變化的虛擬機的資源利用率，CREMS做出合理的資源需求預測。在應用層取得預測的服務器負載之后，根據預測負載來調整虛擬機的資源分配，通過調用Xen的Live Migration虛擬機動態遷移來搬遷虛擬機的位置。當某臺物理機資源空閑時，CREMS可以關閉它以節約能源，動態地將空閑的物理服務器轉入待機狀態，并在需要的時候通過網絡喚醒技術（WOL，Wake On-Line）自動地喚醒物理服務器。在4臺物理服務器和8臺虛擬機組成的集群上進行的長達8小時的實驗表明，CREMS系統有效地降低了系統的總體能耗，節約了大約12% 的能源。為了使CREMS適用于更廣泛的應用場景，未來還有一些工作需要完善，例如目前的工作都是在同構虛擬機上進行負載調節和虛擬機遷移，并未考慮到異構系統的情況，而且現在CREMS調度系統只能對部署好的正在運行中的虛擬機，未來希望在虛擬機的快速部署方面取得突破，比如希望能夠通過一個虛擬機模板快速部署多臺虛擬機到服務器集群上，另外需要設計更加高效的調度算法。

參考文獻：
[1] Jie Liu,Feng Zhao,Xue Liu,Wenbo He. Challenges Towards Elastic Power Management inInternet Data Centers. ICDCS Workshops,2009:65-72.
[2] Internet Data Center report on Optimizing Infrastructure and Server Management in ToughEconomic Times.
[3] AGENCY U E P. Report to Congress on Server and Data Center Energy Efficiency (PublicLaw 109-431). 2007.
[4] Xiaobo Fan, Wolf-Dietrich Weber, Luiz Andr′e Barroso. Power provisioning for awarehouse-sized computer. 34th International Symposium on Computer Architecture,2007.
[5] Wesley M. Felter, Karthick Rajamani, Tom W. Keller, Cosmin Rusu. Aperformance-conserving approach for reducing peak power consumption in server systems.Proceedings of the 19th Annual International Conference on Supercomputing,ICS 2005.
[6] Ramya Raghavendra, Parthasarathy Ranganathan, Vanish Talwar, Zhikui Wang, Xiaoyun Zhu.No ”power” struggles: coordinated multi-level power management for the data center.Proceedings of the 13th International Conference on Architectural Support for ProgrammingLanguages and Operating Systems, ASPLOS 2008.
[7] Charles Lefurgy, Xiaorui Wang, Malcolm Ware. Power capping: a prelude to power shifting.Cluster Computing,2008:183-195
[8] S. Srikantaiah, A. Kansal, F. Zhao. Energy Aware Consolidation for Cloud Computing.USENIX HotPower Workshop on Power Aware Computing and Systems at OSDI,2008.
[9] Jordi Torres, David Carrera, Kevin Hogan, Ricard Gavald`a, Vicenc Beltran, Nicol′as Poggi.Reducing wasted resources to help achieve green data centers.22nd IEEE InternationalSymposium on Parallel and Distributed Processing, IPDPS 2008.
[10] Ripal Nathuji, Karsten Schwan. VirtualPower: coordinated power management in virtualizedenterprise systems. Proceedings of the 21st ACM Symposium on Operating Systems Principles2007, SOSP 2007