1、云平台规划方案 Lele was written in 2021云平台规划方案1方案整体规划1.1整体拓扑方案划分为五个功能区：线路接入区：包含互联网线路，市局、各委办局、采集点等专线接入网络纵深防御区：包含各种网络安全、审计设备，符合等保3级规范要求核心交换区：包含万兆核心交换集群及汇聚交换设备网管、客服区：包含网管平台及客户终端计算、存储区：包含云计算机平台和分布式存储系统。1.2设计依据传统计算中心观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松
2、散、但能够被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。因此提出支撑业务运行的底层基础设施也应当向“面向服务”的设计思想转变，构造“面向服务的数据中心”（Service Oriented Data Center SODC）。具体而言SODC,应形成这样的资源调用方式：底层资源对于上层应用就像由服务构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现，管理员和业务用户不需要或几乎可以看不见物理设备的相互架构关系以及具体存在方式。SODC的框架原型如下所示：在图中，隔在基础架构和用户之间的“交互服务层”实现了向上提供服务、向下屏蔽复杂的物
3、理结构的作用，使得网络使用者看到的网络不是由复杂的基础物理功能实体构成的，而是一个个智能服务安全服务、移动服务、计算弹性服务、分布式存储服务等，至于这些服务是由哪些实际存在的物理资源所提供，管理员和上层业务都无需关心，交互服务层解决了一切资源的调度和高效复用问题。SODC构成的数据中心IT架构必将是整个数据中心未来发展的趋势，虽然实现真正理想的SODC融合的架构将是一个长期的历程，但在向该融合框架迈进的每一步实际上都将会形成对网络灵活性、网络维护、资源利用效率、投资效益等方面的巨大改善。因此本次数据中心的建设规划，要求尽可能的遵循如上所述的新一代面向服务的数据中心设计框架。在基于SODC的设计
4、框架下，规划的新一代数据中心应实现如下设计原则： 简化管理：使上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。 高效复用：使得物理资源可以按需调度，横向无限扩展，物理资源得以最大限度的重用，减少建设成本，提高使用效率。即能够实现总硬件资源占用量降低了，而每个业务得到的服务反而更有充分的资源保证了。 策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象的服务，每一个被充分抽象的服务都按找上层调用的目标进行统一。1.3方案描述SODC架构是一种资源调度的全新方式，资源被调用方式是面向服务而非像以前一样面向复
5、杂的物理底层设施进行设计的，而其中交互服务层是基于服务调用的关键环节。 网络整合SODC要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务能看到底层网络提供各类SODC服务的基础。数据中心网络所必须提供的资源包括：智能业务网络所必须的智能功能，比如高可靠性、多台交换设备虚机化、安全访问控制、设备智能管理等等；统一整合数据中心的三大资源网络：高性能计算网络；存储交换网络；数据应用网络。这三类资源的整合将是检验新一代数据中心网络SODC能力的重要标准。因此本方案中的“核心交换区“是由两台高端核心交换设备，虚机为一台交换设备，统一对外提供数据交换、存储交换接入能力。 计算、存储整合SO
6、DC要求将数据中心所需的各种计算、存储实现统一整合和交付，上层业务不需考虑底层计算资源和存储资源的物理结构。只需根据业务系统划拨使用，底层计算和存储动态实现资源按需使用，动态扩展，数据安全等。本方案中的“计算、存储区“是由统一整合计算和存储的云平台来实现，云平台由多台高端定制化的硬件服务器配合云系统来实现： 集中管理：云平台提供了集中管理能力，从而对计算、存储资源的统一化及动态化分配和管理。 高度可扩展能力：提供了真正意义上的水平扩展能力，没有中心节点，集群的规模可以以数千台服务器为单位。可以按需增加计算资源和存储资源，单个云平台可以管理到超过6万台虚机，从而满足各种规模中心发展的需要。 最可
7、靠的平台：云平台从底层就提供了数据的多副本，当服务器出现硬件故障时，云平台可以将该服务器上的负载自动迁移到其他可用的服务器上，保障应用负载在硬件失败时自动恢复。平台内部的物理网络都是双冗余配置，以确保物理网络连接的高可用。云计算平台还使用SDN等网络虚拟化技术，构建高可用的虚拟用户网络。云平台通过使用分布式文件系统，构建统一的存储池，提供包括实时异地多副本和硬盘快照等功能， 保证用户数据的安全可靠。 在应用服务方面，云平台提供虚拟的负载均衡器。负载均衡器把用户请求转发到多台应用服务器上， 一旦某台应用服务器失败， 负载均衡器可以把失败的应用服务器隔离，但对用户请求仍然可以由其他的应用服务器提供
8、。达到高可用性、负载平衡的运行环境。 动态资源调整：云平台的计算、存储、网络等资源的物理位置及底层的基础架构对于用户来说是透明和不相关的。 通过虚拟化技术可以实现硬件资源的整合池化， 云平台所分配的计算、存储和网络资源都可以根据需要动态地调整，从而达到整个云计算平台资源的平衡， 最合理地利用硬件计算资源， 提高IT资源的整体使用率。 易用性：云平台提供了一个统一的、易用的访问门户以及手机客户端，用户在云平台上申请自己所需的服务（功能）与所需的硬件资源。直观的访问界面和操作提示减少用户培训时间，减少了二次学习时间。 安全的平台: 云平台从多角度提供了数据安全，不仅是私有网络的二层隔离，角色授权、
9、操作日志、访问日志等机制全方位保护云平台的安全性。更和业界领先的云安全厂商合作，整合更专业的安全组件。2网络部分规划2.1网络拓扑核心交换集群：采用两台高端交换设备进行虚机化集群，由两台交换机虚机为一台高性能、高可用性、高负载能力交换机对象，提供万兆网络和存储接入服务。汇聚交换机和云平台节点服务器均使用10G光纤链接核心交换集群。2.2设计依据数据中心的设计需要综合考虑客户需求和技术成熟度（包括网络技术，节能技术和行业标准等）因素。客户需求数据中心的客户需求包括客户的业务战略需求，应用部署需求，网络管理需求和成本需求等多方面。 业务战略需求：包含客户业务发展战略对数据中心网络的需求，如未来几年
10、内随着业务发展，对网络的容量、性能及功能产生的新需求。 应用部署需求：包含应用软件系统、服务器和存储设备对网络性能和功能的需求。 网络管理需求：数据中心网络除了支持自身的管理外，还是服务器、存储盘阵和其他应用系统的管理运行平台。各系统的日常管理、控制指令都需要通过网络提供的管理平台发布和执行。 成本需求：数据中心网络规划应充分考虑机房环境，投资回报和维护成本问题。在综合布线，供电和制冷规划时参照绿色节能的理念，降低数据中心整体能耗，提高能源效率。技术趋势近两年随着数据中心的大规模建设，数据中心网络技术快速发展。下图为目前数据中心设计技术发展趋势。数据中心网络所处的整合、虚拟化和云计算三个阶段相
11、互区别，但并非简单换代关系。 整合阶段：本阶段偏重资源整合，网络性能要求低，业务分区物理独立，业务较固定。 虚拟化阶段：该阶段的网络设计承前启后，能够提供较好的业务灵活性，使传统数据中心结构得以延续。 云计算阶段：该阶段数据中心的网络设计要求资源能够灵活调度，性能高，物理和逻辑分区界限模糊化且资源灵活按需使用。数据中心网络规划设计应该以现有网络架构为基础采用阶段化策略，逐步建立稳健、可持续运行的网络架构。数据中心网络设计人员还需要考虑以下几个要素： 数据中心机房的物理布局：包括基础设施配备限制，物理空间使用，机房部署和布线空间等制约条件。 数据中心现有网络的现状：通常现有的网络是根据实际情况发
12、展出来的，必须对网络现状进行具体分析，才能设计规划出适合的数据中心网络。如某些专有系统对网络有特殊要求，数据中心网络必须满足，有些系统运行管理流程的要求，数据中心网络也必须满足。 数据中心的行业标准：设计数据中心网络时必须支持相关的行业标准，如TIA942布线标准、IEEE的各种接口标准，网络距离限制都需要尽量满足，以适应未来数据中心的运行管理和业务扩展。设计原则数据中心网络设计遵循以下设计原则： 发展阶段目前的建设阶段为“云平台”建设。 模块化考虑到业务的调整及发展，网络结构和系统结构设计模块化、易于扩展。 高可靠网络设计中采用冗余网络设计，实现关键设备、链路冗余；关键设备选用高可靠性产品，
13、可实现单板、模块热拔插、控制模块设计冗余、电源冗余；减少网络层级，简化网络结构，从网络架构上提高可靠性。 安全隔离数据中心网络应具备有效的安全控制。按业务、按权限进行分区逻辑隔离，对特别重要的业务采取物理隔离。以服务器为中心的业务、IP存储备份、管理网络等多个网络进行逻辑隔离，管理网络采取物理隔离。 可管理性和可维护性网络应当具有良好的可管理性。为了便于维护，应尽可能选取集成度高、模块可通用的产品。2.3方案描述2.3.1物理交换网核心交换集群：采用两台高端交换设备进行虚机化集群，由两台交换机虚机为一台高性能、高可用性、高负载能力交换机对象，提供万兆网络和存储接入服务。汇聚交换机和云平台节点服
14、务器均使用10G光纤链接核心交换集群。2.3.2云平台虚机网络网络虚拟化以软件方式完整再现了物理网络。虚拟网络不仅可以提供与物理网络相同的功能特性和性能保证，而且还具有虚拟化的运维优势和硬件独立性，包括快速调配、无中断部署、自动维护等。网络虚拟化将逻辑网络连接设备和服务（逻辑端口、交换机、路由器、防火墙、负载平衡器和VPN等）提供给已连接的工作负载。应用在虚拟网络上的运行与在物理网络上完全相同。使用SDN技术，实现网络控制平面和转发平面的分离，由此提供更友善、更强大的网络配置和控制能力。云平台通过网络软件定义(SDN)技术实现虚拟网络的编程控制和网络功能虚拟化(NFV)。云平台提供了两种组网方
15、式：基础网络和私有网络。前者是一个由QCMS维护的全局网络，后者是基于VXLAN协议由用户自行管理和定义的网络。2.3.2.1私有网络虚拟私有网络(VPC)是云平台环境内可以为用户预配置出的一个专属的大型网络。在VPC网络内，您可以自定义IP地址范围、创建子网，并在子网内创建主机/数据库/大数据等各种云资源。私有网络之间是100%隔离的，以满足对安全的100%追求。私有网络类似物理世界中使用虚拟交换机（L2 Switch）将多台服务器连接在一起，组成的局域网。虚拟路由器用于多个受管私有网络之间互联，并提供多项附加功能：DHCP、端口转发、VPN、隧道服务和访问控制，涵盖了常用的网络配置与管理工
16、作。当用户使用多台主机工作时，通常会让不同功能的主机分布在不同的子网里，例如：Web服务器和DB服务器因为访问要求的不同而被分配在不同的子网里。提供的私有网络功能帮助用户轻松完成组网工作，针对上述案例，只需将Web服务的主机和DB服务的主机放置在不同的私有网络里即可。私有网络的节点通讯从传统树形结构变成网状结构，所有节点之间进行点对点直接通讯，提高了节点间通讯的性能。私有网络之间的通讯不在依赖单个虚拟路由器，而是通过分布式网关实现。提高了私有网络之间通讯的效率，也提高了单个路由器可以接驳的私有网络数目。一个私有网络可以连接254个子网（Vxnet），且最多可以容纳60,000台虚拟主机。通过分
17、布式路由器和虚拟直连技术，云平台的VPC网络可以在大规模部署的情况下，保障网络集群的高性能和高可用。VPC网络也可以实现和公网Internet的高效互通，任意一台VPC网络管理的主机都可以直接绑定EIP；同时，负载均衡器也可以直接连接VPC网络内的主机。在VPC网络里，管理路由器只负责VPN/隧道/DNS/端口转发等管理功能，以及这些管理流量的转发和路由，不再处理子网之间的转发流量。VPC网络内的主机可以绑定自己的EIP；设置专属的防火墙，这些IP、防火墙与管理路由器之间没有隶属关系。2.3.2.2自管网络如果云提供的路由器功能无法满足您对网络管理的需求，您可以创建自管私有网络，以自行配置和管
18、理该网络。一个云主机可以加入多个自管网络，每个自管网络对应云主机的一块虚拟网卡：从操作系统角度可以看到系统有4个网卡，eth0对应到受管网络，eth13对应到3个自管网络smn1,smn3和smn2。手工可以修改自管网络的网络配置。如eth1被修改为。此时如有其它云主机也加入到smn1自管网络且设置ip到同一个网络，则两个云主机可以相互ping通。2.3.2.3网络功能虚拟化通过软件定义网络实现了网络功能虚拟化，提供了虚拟负载均衡、虚拟防火墙功能。虚拟负载均衡器可以将来自多个EIP地址的访问流量分发到多台主机上，并支持自动检测并隔离不可用的主机，从而提高业务的服务能力和可用性。 同时，你还可以
19、随时通过添加或删减主机来调整你的服务能力，而且这些操作不会影响业务的正常访问。 负载均衡器支持HTTP/HTTPS/TCP 三种监听模式，并支持透明代理，可以让后端主机不做任何更改，直接获取客户端真实IP。 另外，负载均衡器还支持灵活配置多种转发策略，实现高级的自定义转发控制功能。同时，提供的虚拟防火墙来保护网络的访问。云的虚拟防火墙采用的是分布式防火墙技术，就是利用每个计算节点物理主机的IPTABLES，把所有计算节点组成了一个分布式的防火墙。为每个用户提供了一个缺省防火墙，我们也可以自建更多的防火墙。不同的云服务器可以被设置不同的防火墙策略。2.3.2.4物理组网由于不仅需要支持虚拟机之间
20、高速的通信，还要支撑完成多份实时副本的工作，为保证整个平台的性能，我们规划云平台的支撑网络应该规划为万兆（10Gb/s）网络，。在云计算管理平台对于网络设备的使用都只当为二层（链路层）设备来使用，物理网络设备只是解决连通性问题，无需使用任何三层（网络层）的协议。这样的好处是在确保性能最优的前提下，无需复杂的配置，无论是工程实施，还是后期维护，工作量都大大减少了；同时系统的构建不用依赖任何厂家的网络产品，再也没有厂商锁定的困扰。3计算及存储规划3.1平台拓扑整个云平台由：控制节点、对象存储网关节点、计算、分布式存储节点、对象存储节点构成。3.2设计依据从技术架构来看，云计算出现之前的数据中心大多
21、采用“竖井式”的应用开发部署方式，无论是机房基础设施，还是网络资源、存储资源、计算资源等都采用专业化维度的部署管理，对于应用软件投产、数据分布及备份采用按应用系统“一事一议”的方式部署。这种各个系统部件、应用紧耦合的维护、变更模式流程较为复杂。数据中心普遍通过在ServiceDesk中采用专门的变更、问题流程管理功能协调各专业部门的工作流。随着业务的发展，数据中心在一定程度上出现了IT资源局部富余但整体紧张的现象。数据中心为了更好的管理既有业务系统，同时提升IT系统的运行效率，规划采用云数据中心方式对业务系统提供统一的IT能力服务平台。另一方面，考虑到数据中心未来长期的云计算平台建设策略，建议
22、规划整体的云计算建设路线图，并对当前的基础架构云进行详细设计。云数据中心平台的建设，应该考虑到的设计原则为： 可管理性原则 系统架构中应提供集成、统一的软硬件管理功能，满足各种日常的管理需求，适应新一代数据中心管理快捷、方便的特点 开放性原则 架构必须能够满足自身的稳定性，同时具有集成的异构兼容性，在满足新的业务需求同时不需要对架构进行重新设计或对现有架构重大修改。 可扩展性原则 可扩展性是指未来应用系统的业务量增加时，资源能够自动扩展以适应更多用户、更多的业务处理及存储能力。 安全性原则 系统架构必须是能够提供认证、访问控制能力的环境，以确保业务关键信息的完整性、保密性 。 适度性原则 结合
23、自身需求， 资源以满足目前要求为基准，并适度前瞻。 持续性原则 IT架构设计应该具有持续性，满足目前要求并可持续扩展，持续优化。3.3方案描述云计算平台的建设是分阶段、分步来实施的，并且伴随业务访问量和对存储空间、存储性能的要求，还可对本项目云平台进行水平扩展，本项目规划由：控制节点、对象存储网关节点、计算分布式存储节点、对象存储节点构成。本次数据中心的基础架构云的建设可达成以下预期目标：3.3.1弹性与自动化的基础设施通过建设软件定义的数据中心，实现能以按需方式，通过网络，方便的访问数据中心的可配置计算资源共享池(比如：网络，服务器，存储，应用程序和服务) 。同时以最少的管理开销，完成自动化
24、迅速配置提供或释放资源，应对不确定以及海量的访问压力时提供足够的计算资源。3.3.2按需服务，平台交付统一便捷的服务提供能力与集成能力，为资源使用者提供标准化的服务目录与资源申请、管理平台，使其可以方便的连接到云计算平台，申请所需服务与资源，并便捷的进行管理。降低对于人工配置和流程的依赖，在满足总体管理需求的前提下提升服务水平。3.3.3敏捷的IT服务水平 不仅满足服务器资源池化的需求，同时对存储、网络、数据库、缓存等关键组件都实现软件定义和标准的服务提供能力，将物理资源转化为逻辑资源，利用模版化、API、秒级交付、批量构建等手段，加速IT资源的供给速度，提高服务水平。3.3.4简化管理，智能
25、统一运维通过云计算管理平台，实现对资源的统一化及动态化分配和管理。将多组服务器、网络和存储通过软件定义技术， 将其作为一个超大规模的集群进行统一管理，可以对其进行资源的动态分配和调整及回收， 提高管理效率，并通过安全设置可以保证虚拟资源的安全性和独立性。3.3.5硬件故障无害化，保障业务连续通过其高可用设计，可以实现最可靠的运算平台。将任何一台服务器的失败， 云计算管理平台都可以自动发现， 并把失败的服务器从可用服务器列表中剔除，从而保证任意时间用户请求的计算资源都是建立的可用的服务器之上。同时， 将该服务器上的负载自动迁移到其他可用的服务器上，保障应用负载在硬件失败时自动恢复。同时方案提供各
26、种应用、数据的备份机制（高连续性服务），可实现应用层面的多节点负载、快照、HA，数据节点的3副本的备份机制，提供多种安全保障功能，解决业务的意外中断和数据丢失困扰。同时实现网络的冗余配置，以确保物理网络连接的高可用。使用SDN等网络虚拟化技术，构建高可用的虚拟用户网络。使用分布式文件系统，构建统一的存储池，提供包括实时异地多副本和硬盘快照等功能， 保证用户数据的安全可靠。 在应用服务方面， 提供虚拟的负载均衡器，把用户请求转发到多台不同物理宿主的应用服务器上， 一旦某台应用服务器失败， 负载均衡器可以把失败的应用服务器隔离， 但对用户来讲，其请求仍然可以由其他的应用服务器提供。达到高可用性、负
27、载平衡的运行环境，保障业务连续。3.3.6计算虚拟化需求计算虚拟化是指通过虚拟化技术将一台物理计算机虚拟为多台逻辑计算机。在一台物理计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显着提高计算机的工作效率。虚拟化使用软件的方法重新定义划分IT资源，可以实现IT资源的动态分配、灵活调度、跨域共享，提高IT资源利用率，使IT资源能够真正成为社会基础设施，服务于各行各业中灵活多变的应用需求。计算虚拟化的功能及技术需求如下：采用目前主流的KVM全虚拟化技术，应支持不重启主机动态升级KVM版本；支持计算资源虚拟化，形成分布式计算
28、资源池。虚拟化效率不小于%；支持计算设备“一虚多”。同一台物理主机上同时支持多种操作系统，或是相同操作系统的不同版本。分区与分区之间相互独立，互不影响；支持资源的动态调配与弹性可伸缩。资源池具备各级资源的按需获取功能，提高资源消费者的可用性、容错与扩展能力。资源响应的速度应达到秒级。支持虚拟机的在线和离线迁移；支持虚拟机系统自动批量部署，一次同时部署的规模能达到200台虚拟机。3.3.7分布式存储分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络
29、存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式存储系统不仅为虚拟主机提供块存储也为对象存储提供存储能力。同时分布式存储系统提供数据的多（3）个实时副本，保证用户数据的安全。分布式存储系统的功能及技术需求如下： 支持增量扩容和自动数据平衡能力，允许用户定制数据分布策略； 架构避免固定的集中控制点，且各节点能自动进行故障监测、切换以及数据迁移； 具备高可扩展性，可支持上亿个文件和PB以上量级的文件存储；支持不重启系统，增加物理服务器后自动扩容； 在不依赖SAN&NAS等特殊硬件设备的条件下，提供高可用性和高可靠性； 提供
30、至少3份数据实时副本，且保证至少有一份跨机架的数据副本； 服务可用性要高于%；数据可靠性要高于%; 基于SAS硬盘的虚拟存储IO性能不小于120MB/s, 基于SSD硬盘的虚拟存储IO性能不小于300MB/s。 应采用Shared-nothing架构设计，支持1万以上用户并发读写，支持1000台以上物理服务器集群。3.3.8网络虚拟化（SDN）网络虚拟化完整再现了物理网络。虚拟网络不仅可以提供与物理网络相同的功能特性和性能保证，而且还具有虚拟化的运维优势和硬件独立性，包括快速调配、 无中断部署、自动维护等。网络虚拟化将逻辑网络连接设备和服务（逻辑端口、交换机、路由器、防火墙、负载平衡器和VPN
31、等）提供给已连接的工作负载。应用在虚拟网络上的运行与在物理网络上完全相同。使用SDN技术，实现网络控制平面和转发平面的分离，由此提供更友善、更强大的网络配置和控制能力。网络虚拟化和SDN的功能及技术需求如下： 采用软件+硬件方式，通过软硬件集成实现SDN，灵活调度与管理虚拟网络，并实现已应用为中心的基础架构； 通过SDN技术实现网络虚拟化，构建网络资源池； 支持虚拟私有网络，私有网络间要100%二层网络隔离，支持不同用户自由使用网络资源； 支持虚拟路由器，虚拟交换机，虚拟防火墙，虚拟负载均衡器，可以按需配置网络逻辑拓扑； 通过SDN实现DHCP，端口转发，隧道服务，VPN接入服务和过滤控制服务； 支持通过SDN功能实现机房间通过网络安全隧道（IP-Sec）联通。4网络安全规划4.1方案目标充分解读网络安全等级保护相关政策和标准，全面提升网络安全防护能力，应对新威胁、新应用下的安全威胁，利用云端安全服务、云防护的创新技术理念与技术落地，实现对网络安全的智能统一管理，并达到国家网络安全等级保护的相关标准与要求。4.2设计依据 中办200327号文件国家信息化领导小组关于加强信息安全保障工作的意见 四部委于2004年9月15日发布公通字200466号信息安全等级保护工作的实施意见 四部委2007年06月17日发布（2007）公通字43号 信息安全等级保护管理办法 GB/T 信息安
