1、信息安全技术论文绿色云计算南 京 理 工 大 学信息安全技术论文题 目： 绿色云计算 姓 名： xxxx 学 号： xxxxxxxxxxxxx 专 业： xxxxxxxxxx 院 系： xxxxxxxxxxxxxxxxx 老 师： 李千目 日 期： 2015年1月15日 摘要随着云计算技术的迅速发展，使得云数据中心服务器的规模每年都在不断的扩大，产生巨大的能源开销。不合理的调度策略同样导致能源浪费严重，使得云数据中心的运营成本不断增加。因此，绿色云计算的概念应运而生。针对目前云数据中心的高能耗、低效率问题，本文围绕着云计算、绿色计算、绿色云计算等工作展开了一系列的研究与探索。关键词： 云计算技
2、术 云计算 绿色计算 绿色云计算 目录摘要 2目录 3第一章 绪论 41.1 研究背景 41.2 相关研究 51.3 文章结构 6第二章 云计算 72.1 云计算定义 72.2 云计算体系架构 72.3 关键技术 82.3.1编程模型 82.3.2海量数据存储技术 82.3.3海量数据管理技术 92.3.4虚拟化技术 92.4 典型的云计算平台 9第三章 绿色计算 103.1 绿色计算定义 103.2 绿色计算研究成果 103.2.1能耗模型及评价 103.2.2低功耗硬件 113.2.3体系结构 113.2.4关闭/休眠技术 123.2.5动态电压调整技术 123.2.6网络通信 13第四章
3、 绿色云计算 144.1 绿色云计算实现途径 144.2 绿色计算体系结构 144.2.1虚拟服务器 154.2.2虚拟云存储 154.2.3网络虚拟化 164.3 绿色云计算评估 16第五章 总结与展望 17参考文献 18第一章 绪论全球气候变暖正日益演变成一个涉及全球生态环境、国际政治、世界经济等问题的重大议题。在温室气体的主要排放源中，信息和通信产业(ICT )日渐成为重要的排放源。官方数据显示，ICT的温室气体排放量已经占总排放量的2%，赶超了航空业的温室气体排放量1。并且随着ICT的飞速发展，特别是移动通信产业的指数级增长，预计到2020年，ICT的总排放量将达到目前排放量的三倍。因
4、此，绿色计算的研究成为近年来人们日益重视的研究课题。1.1 研究背景麦肯锡研究显示，IT目前相关的排放已经成为最大的温室气体排放源之一，一年产生的碳排放为8.6亿吨，且该领域的排放势头还在随着全球对计算、数据存储和通信技术需求的增长快速上升。电脑的碳排放1/4来自于生产制造过程，剩下的3/4则来自使用过程。据气候组织计算，每台电脑使用一年可以排放0.1 t二氧化碳。若全美的大学生能开启电脑的节电功能，每年就可以节省23亿度电，减少180万t二氧化碳排放量，这几乎相当于35万辆汽车运行时产生的碳排量。2009年，谷歌(Google)声称通过谷歌搜索引擎的每一次搜索会产生0.2 g的二氧化碳排放量
5、，而美国哈佛大学的物理学家阿历克斯则称，每一次搜索所产生的二氧化碳排放量高达7g。世界和IT行业已经意识到提高计算资源的利用率、减少温室气体排放量的重要性，在不影响计算机系统性能快速发展和经济可持续发展的前提下，采用绿色计算原则设计的计算机软件系统和硬件产品，努力获得最大的计算机资源和能源的使用效率，担负起应尽的社会责任并尽力减小对环境的负面影响。云计算是对既有的计算资源在一种全新模式下的重组。在云端，数以万计的服务器提供近乎无穷的的计算能力，而云用户根据自己的需求获取相应的计算能力即可。集中的存储和计算，看似形成了云能耗黑 洞，有悖于绿色计算(green computing)的理念，然而，微
6、软环境可持续部门高级主管Francois Ajenstat公开声称:“数据中心和云计算服务可以帮助人们减少对环境的影响。例如，统一通信技术可以减少大家的出行，家庭能源管理服务的使用可以帮助用户家少资源消耗。”从长远来看，一旦云计算能力稳固，瘦客户端将盛行，闲置计算、存储能力大大减少，必然降低能源的损耗。从这个角度观察，云计算与绿色计算殊途同归，适于融合发展，互相助力。1.2 相关研究目前，绿色计算顺应低碳经济的要求日益受到学术界和工业界的广泛关注。关于绿色计算系统的研究，涉及系统能效模型与评测、计算机体系结构、系统软件、网络通信与服务，以及上层应用等多个层面。 能效问题是实现绿色计算的核心问题
7、，通过研究能效与其影响因素之间的关系，建立能效理论模型与评测机制，是实现绿色计算的前提。能效问题涉及到计算系统的所有因素，包括芯片、体系结构、编译器、操作系统、通信网络、应用软件等，这些因素与能效的依赖关系复杂，研究难度较大。 在能耗和功耗建模方面，文献2采用二元线性回归方法对操作系统的能耗实验数据进行了分析，得出了服务例程级的宏模型，即能耗与软件的算法复杂度、通信量和路径基本块关联信息等高层度量特征之间的函数关系；文献3提出了一种在分布式计算系统中对科学计算应用的功耗和能耗特性进行建模的方法;文献4提出了一种基于组件的并行科学计算应用性能和功耗模型。但以上研究都仅仅针对系统单一层面的研究，没
8、有考虑硬件平台、系统软件以及应用组成的计算系统整体的能效模型；并且其研究对象大多为嵌入式系统或实时系统，对计算系统的能耗模型研究较少。 在功耗测量和评估方面，通常采用硬件测量、理论计算、软件模拟3种方法。硬件测量指对被测量的硬件设备外接仪器得到实时的电压和电流，进而算出功率和功耗，该方法需要专用硬件支持；理论计算方法为，根据工作频率或电压计算其处理器的功耗，根据工作状态计算硬盘等外部设备的功耗，从而计算出整个计算机系统的功耗，但理论计算方法的精度欠佳；软件模拟法主要包括峰值功耗估算模型(PPEM)和动态功耗模拟模型(DPSM)，这些软件仅可以获得节点级的粗粒度功耗。在能效评价标准方面，EPEA
9、T(Electronic Product Environmental Assessment Tool) 5是绿色计算的相关标准之一，其采用多个等级对计算机以及其他电子设备的环保表现进行综合评价；美国环保总署和能源使用效率协会赞助下推出性能/功耗评价基准，通过构建基于SpecPower ssj2008的测试平台，可以测得系统的性能与功耗之间的关系。以上工业标准都对能效的测评做了有益的尝试，但是其评测的粒度均为节点级的，粒度较粗。在能耗感知的系统软件方面，体系结构层面(如CPU设计、存储层次、数据通路等)设计节能策略是目前普遍采用的做法，也能取得较好的降耗效果。但是，由于操作系统及虚拟机管理器等系
10、统软件能够从全局层次考虑硬件设备的功耗状态，在满足计算系统高性能、高可靠的前提下，可为每个计算任务灵活、方便地提供能耗最优的资源分配与任务调度的执行环境。因此，设计能耗感知的系统软件是降低计算系统整体能耗的重要环节。当前，对系统软件降耗技术的研究主要集中在操作系统的动态功耗管理、设备资源管理、核间节能调度以及虚拟机管理器的电源管理上。在网络环境的节能方面，绿色代理技术结合休眠机制作为国际前沿研究领域，是通过调整网络拓扑结构来优化能耗的典型。Govindan R等人于2009年开始引入绿色代理技术，通过代理端，在需要节点工作时代理端唤醒节点。既不降低网络的性能，也减少了能耗。在各类专用网络中，拓
11、扑结构与能耗的关系被广泛研究。例如，多跳Ad Hoc网络，为维持拓扑结构，设计了一种节能协作算法。还有无线传感器网络、车载网络、无线多播网络也有诸多此类研究。在网络协议方面，因为能量并不是因特网构建之初所考虑的制约因素，很多网络协议和网络中的算法不仅不符合节能的要求，有的甚至是背道而驰的，例如TCP的重传机制、无线网络中的CSMA/CD和CSMA/CA等。很多学者和研究人员基于现存的网络协议，提出了很多针对节能目标的改进版本。1.3 文章结构第一章介绍了我国绿色云计算的研究背景与相关工作。第二章介绍了云计算。第三章介绍了绿色计算。第四章介绍了绿色云计算。第五章总结与展望。第二章 云计算 云计算
12、是一种基于互联网的、大众参与的计算模式，其计算资源(计算能力、存储能力、交互能力)是动态、可伸缩、且被虚拟化的，以服务的方式提供。此类新型的计算资源组织、分配和使用模式，有利于合理配置计算资源并提高其利用率，促进节能减排，实现绿色计算。2.1 云计算定义云计算由一系列相互联系并且虚拟化的计算机组成，这些虚拟化的计算机动态地提供一种或多种统一化的计算和存储资源，这些资源通过服务提供者和服务消费者之间的协商来流通5。云计算的特点主要体现在6:采用“即用即付费”的方式分配计算、存储和带宽资源；动态扩展功能和部署新服务的高可扩展性；各类资源的高利用率等。2.2 云计算体系架构随着云计算技术的不断发展和
13、成熟，各大IT厂商根据自身的业务需求和发展，分别提出了各自的云计算解决方案，然而目前仍然未有统一的适用于云计算的体系架构，这在一定程度上阻碍了我们对云计算的理解。美国国家标准与技术研究院(National Institute of Standards and Technology, NIST)提出的云计算参考体系架构7如下图2.1所示。图2.1 云计算体系架构该体系架构定义了5个主要的角色：云用户(Cloud Consumer)、云服务提供者(Cloud Provider)、云载体(Cloud Carrier)、云审计(Cloud Auditor)和云代理(Cloud Broker )。Clo
14、ud Provider负责为用户提供可用的服务，包括云服务部署、云服务编排、云服务管理、安全、隐私模块。Cloud Auditor可以独立评估云服务、信息系统操作及云实现的性能和安全性。Cloud Broker是一个管理云服务的使用、性能和交付的实体，同时协调Cloud Provider和Cloud Consumer之间的关系。Cloud Carrier是一个中间层，为云服务提供了连接和传输。2.3 关键技术云计算有很多新技术，其中最为关键的技术为编程模型、海量数据存储技术、海量数据管理技术和虚拟化技术。2.3.1编程模型 云计算提供了分布式编程模型，最典型的代表是Google公司的MapRe
15、duce模型，它是一种思想简洁的分布式并行编程模型和高效的任务调度模型，主要用于大规模数据集的并行运算和并行任务调度。MapReduce的主要思想是将要处理的任务分解成映射(Map)和化简(Reduce)任务，先用Map函数将大数据集分块，调度到计算节点来处理，进行分布式计算，再用Reduce函数汇总中间数据，并输出最终结果。2.3.2海量数据存储技术 云系统采用分布式存储技术存储海量数据，采用多副本技术保证数据的可靠性。Google的文件系统GFS(Google File System)8和基于GFS思想开发的Apache开源文件系统HDFS(Hadoop Distributed File
16、System)目前得到了广泛使用。 HDFS是一个分布式文件系统，为存储超大文件而设计，在商用硬件(普通、廉价的硬件)上运行，提供容错功能。HDFS文件默认被切分为64MB的块存储，且每个块在集群中保存3个以上的备份进行冗余存储。在典型的HDFS集群中，通常有一个管理节点(NameNode)和多个数据节点(DataNode)。NameNode管理文件系统的命名空间(NameSpace)，它维护着文件系统树以及这棵树上所有的文件和目录，记录存在于HDFS中的文件云数据以及各个文件是如何被分块的。DataNode把数据块存储在本地文件系统中。NameNode定期通过心跳包与DataNode通信，给
17、DataNode传递指令并收集它们的状态。2.3.3海量数据管理技术 云计算采用高效的数据管理技术管理分布的、海量的数据。较典型的有Google的BigTable9和Apache的开源数据结构化管理组件HBase9。HBase是一个分布式存储系统，可在商用硬件上搭建大规模结构化的存储集群。与关系型数据库不同，HBase用于非结构化数据存储。由于它是基于列存储的，所以适合读写大数据。HBase提供了配套的TableInputFormat和TableOutputFormat API，可将HBase Table作为Hadoop MapReduce的数据源，对于MapReduce应用的开发人员来说，基
18、本不需要关注HBase系统自身的细节。2.3.4虚拟化技术虚拟化技术是指在物理主机上虚拟出若干台虚拟机，通过这种方式能够扩大硬件的容量。通过虚拟化技术可以隔离高层应用与底层硬件，它包括分解模式和聚合模式，分别对应将单个资源划分成多个虚拟资源和将多个资源整合成一个虚拟资源。在云计算实现中，虚拟化建立在云服务与云应用的基础之上，主要用在操作系统、CPU、服务器等方面，利用它能够提高资源利用率、降低能源消耗。2.4 典型的云计算平台随着云计算技术的成熟，各个IT厂商推出了自己的云计算平台。例如，Google推出了互联网应用服务引擎(Google App Engine, GAE )，IBM推出了蓝云计
19、算平台，Amazon推出了弹性计算云(Elastic Compute Cloud，EC2)， Microsoft推出了Windows Azure云计算平台。Hadoop10是Apache的一个开源分布式架构系统，适用于结构化和非结构化的数据搜索、分析和挖掘等任务，是一个高效而可靠的云计算平台。Hadoop部署在基于大规模服务器集群的云计算数据中心上，提供可信赖的计算能力和存储能力。Hadoop用户只需根据需求来开发应用程序，不需要关注分布式系统底层的细节。第三章 绿色计算自哥本哈根大会之后，建设低碳社会已经成为全球共识。而随着社会信息化水平的快速发展，政府、经济及社会领域的各个行业对信息系统的
20、依赖程度越来越高，信息产业的能耗越来越高。面向可持续发展的低成本、低能耗的新型计算系统、模型和应用的研究，或称为绿色计算，已成为未来信息技术领域面临的重大挑战。作为建设低碳社会的重要一环，绿色计算是可推动科技进步和社会可持续发展的一种新型计算模式，已成为国际竞争的焦点和制高点，关系到国家政治、经济和社会安全。发展我国具有自主知识产权的绿色计算技术，推动我国新一代信息产业的跨越式发展，对于我国在21世纪确立国际战略优势地位具有至关重要的意义。3.1 绿色计算定义按照维基百科的定义，绿色计算(green computing)11是“本着对环境负责的原则使用计算机及相关资源的行为。绿色计算包括采用高
21、效节能的中央处理器(CPU)、服务器和外围设备，减少资源消耗，妥善处理电子垃圾(e-waste)。绿色计算涉及系统结构、系统软件、并行分布式计算及计算机网络，它以保证计算系统的高效、可靠及提供普适化服务为前提，以计算系统的低耗为目标，面向新型计算机体系结构和包括云计算在内的新型计算模型，通过构建能耗感知的计算系统、网络互联环境和计算服务体系，为日益普适的个性化、多样化信息服务方式提供低耗支撑环境12。在计算系统的性能不断提高、可靠性不断增强及应用需求丰富多样的情况下，绿色计算可以更加合理协调地利用计算资源，以低耗方式满足日益多样的计算需求。作为一种新型的计算模式，绿色计算受到了工业界与学术界的
22、广泛关注并取得了一定的成果。本节对目前绿色计算国内外的研究成果进行了介绍。3.2 绿色计算研究成果3.2.1能耗模型及评价能耗及其评价问题是实现绿色计算的核心问题之一，通过研究能效及其影响因素间的关系，建立能耗模型与评测机制，是实现绿色计算的前提。能耗问题涉及到计算系统的各个方面，包括硬件芯片、存储部件、体系结构、编译器、操作系统、通信网络、应用软件等，这些方面依赖关系复杂，研究难度大3。林闯等人将能量作为一种系统资源，将能耗管理和控制问题归结为资源管理和配置问题，在对绿色网络的机制和策略详尽调研分析的基础上，提出基于随机模型的绿色评价框架系统的能耗实验数据进行分析，为绿色网络的评价体系创造了
23、前提。文献4通过对操作得到服务例程级的宏模型杂度和路径基本块关联信息等高层度量特征之间的关系。即能耗与通信量、软件的算法。3.2.2低功耗硬件处理器的多核技术是提高处理器计算能力的一种重要手段。然而，多核技术使得处理器的功率不断增加，功耗问题更为突出。如何实现高能效比是这些处理器设计的一个重要指标。采用最新的架构，最新的工艺和最新的节能技术，可以在很大程度上实现高性能、低能耗。各大硬件制造商，尤其是CPU芯片制造商(如Intel, AMD)不断改进工艺，降低CPU能耗。文献5深入的研究了处理器能耗优化的问题，提出了基于处理速度的能量消耗函数，采用速度缩放策略，将能耗优化问题抽象为最优任务调度问
24、题。固态硬盘取代机械硬盘可以很大程度上降低硬件的功耗6。机械硬盘从待机状态切换到工作状态，需要进行电机加速。移动磁头臂需要的瞬时电流达到硬盘正常工作电流的两倍以上。而固态硬盘的启动电流几乎和工作电流一样，因此电源无需进行额外的功率设计。再者，固态硬盘只需极短时间就能从待机状态切换到工作状态，所以不断将固态硬盘切换到待机状态，不会增加额外的电力消耗，反而能减少电能。除了处理器和硬盘外，还有很多的因素决定了服务器硬件层面上的功耗。文献8在设计数据存储系统时采用超低功耗存储节点，硬件电路板的耗电量仅为5瓦，从硬件层面上降低了系统功耗，同时为系统的高度集成打下了基础。Google对服务器主板进行修改，
25、并利用蓄电池来提高能源的利用率。因此，对于不同类型的服务器应该结合能耗和性能加以平衡，从而实现真正意义上的高效能绿色计算。3.2.3体系结构为了降低系统的能耗，工业界和学术界都在不断地研究和改进计算机的体系结构。例如，以通用处理器为主，专用处理器为辅的异构计算机，通过两种处理器的协作可以得到良好的能效比。文献4提出了一种新颖的集群体系结构，用于处理大规模数据密集型任务，该结构具有性能优异和系统功耗低的优点。Gordon是针对高度并发的数据型任务提出的一个基于Flash存储器的的集群系统，该系统处理速度快，但功耗较低。然而，目前计算机体系结构的低功耗研究主要集中于通用型体系结构，而针对我国自主研
26、发的处理器的低功耗研究很少，因此迫切需要开发拥有我国自主知识产权处理器的高性能、低功耗计算机系统。3.2.4关闭/休眠技术 关闭/休眠技术也是常用的实现分布式系统节能的技术，该技术通过关闭或休眠空闲节点的方式来降低空闲能耗。采用休眠负载较轻的节点，减少系统的能耗。这种方法把研究的焦点创新性地从动态节点转移到空闲节点，即通过休眠空闲的节点来减少能耗。该策略假定休眠后节点的能耗为0，且不考虑休眠节点存储的副本，但是在实际应用中必须考虑这两个问题。关闭/休眠技术的缺点是当需要的节点不满足需求时，重启节点需要很长时间，这会导致系统的响应时间变长，影响用户体验。该技术一般提前设定或预测需要关闭/休眠主机
27、或关键部的时机。所以，对于拥有大量计算资源的云系统而言，关闭/休眠技术需要解决的难题是在己知单位时间任务的到达量的前提下，确定需要关闭/休眠多少主机，以及关闭哪些主机等问题。3.2.5动态电压调整技术根据系统实时负载的大小调节系统部件功耗的大小，的代表是动态电压调节(Dynamic Voltage Scaling，DVS)在降低能耗的同时保证性能，典型技术。感知的启发式任务调度算法，动态调整同一任务执行时的电压；文献13提出一种基于能耗算法采用能耗梯度作为任务调度的评价指标，同时又考虑任务调度的顺序文献14提出了一种基于时间片的DVS能耗优化算法，预测任务的执行时间，针对预测不准确的问题:预测
28、偏长时降低电压来降低能耗，预测偏短时将未完成部分作为一个新的任务重新调度。文献15根据当前包任务的执行情况进行预测，保证在用户定义的Deadline前完成任务，动态调整处理器的运行电压，降低系统的能耗。文献16提出了一种基于DVS技术的启发式调度算法，用来降低任务的执行能耗。但是DVS应用于云计算系统时，会遇到以下问题：(a)任务到达系统的时间是不确定的，所以到达任务的类型很难预测；(b)就算能够预测任务的类型，适合该任务的处理器电压也很难确定；(c) DVS主要用来降低主机处理器的能耗，但用来优化整个主机或整个云计算系统的能耗就比较局限。3.2.6网络通信 网络通信的节能研究一般通过减少网络
29、中的无用能耗，提高资源的利用率来达到节能的目的。文献17针对当前网络能效算法研究的局部性，从全局角度出发研究网络的能耗问题，提出了优化的节能路由算法。但是该算法不能直接用于基于分布式路由器的网络。网络环境的节能研究一般通过优化网络的拓扑结构来节约能耗，其中绿色代理技术与休眠机制的结合的研究最为广泛。Nordman引入绿色代理技术，通过代理端在需要节点工作时唤醒节点，减少了能耗，但并不降低网络的性能18。第四章 绿色云计算 在云端，数以万计的服务器提供近乎无穷的计算能力，而云用户根据自己的需求获取相应的计算能力即可集中的存储和计算，看似形成了云能耗黑洞，有悖于绿色计算(green computi
30、ng)的理念。从长远来看，一旦云计算能力稳固，瘦客户端将盛行，闲置计算、存储能力大大减少，必然降低能源的损耗。从这个角度观察，云计算与绿色计算殊途同归，适于融合发展，互相助力。4.1 绿色云计算实现途径云计算要实现绿色计算目标，首先不是重新设计和制造新的支持设备，而是整合现有设备和资源。这也是基于一个理念：不以保护环境之名破坏环境。目前最有效的实现云计算平台的技术是虚拟化.郭兵等人谈到了如何利用虚拟化来降低能量消耗19。他们列举出了4类计算：本地、逻辑、数据中心和云计算，其中云计算提供了最高级的虚拟化形式，因此也代表了最棒的绿色计算。虚拟化不需要改革或替换或淘汰现有设备来形成云，而是进行和平过
31、渡。李严冰认为：云计算平台的实现可以分成3步来完成20。一是将实际机器形成虚拟机(安装VMware之类的虚拟机软件)，然后利用VMotion技术使内部机虚拟机可热迁移到其他机器上，整个企业局域网(内部网)就成为一个resource pool。二是将内部云(私有云)与外部云联系，形成云联邦(Cloud Federation.最后一步即形成虚拟云环境，初步实现云计算平台。史佩昌21等人提出了一个面向云计算的网络化平台NPCC (Networking Platform over Cloud Computing)，通过高性能虚拟化域技术为用户提供可定制的独立运行环境。总之，云计算借助虚拟化技术的伸缩性
32、和灵活性，提高了资源利用率，简化了资源和服务的管理和维护;利用信息服务自动化技术，将资源封装为服务交付给用户，减少了数据中心的运营成本；利用标准化，方便了服务的开发和交付，缩短了客户服务的上线时间22。因此，云计算从整体上降低了网络和企业的运营成本，减少了“计算”留下的“carbon footprint”，是符合绿色理念的。4.2 绿色计算体系结构基本云计算技术体系结构如图2.1所示。从下图可以看出，云计算的基础是资源虚拟化，将网络中的服务器、存储和网络等虚拟成为一个资源池，统一灵活调配。借助系统管理软件，应用可以灵活架构在不同的硬件平台上，并动态地从虚拟池中获取所需资源。如果正确地构建服务器环境，就可以在提高性能的同时减少CPU和物理服务器的数量，这会减少电力、冷却和场地成本；如果采用虚拟存储，所有的存储设备将被统一管理，而且赋予统一的功能，内
