1、 Then analysis and design of new media building deploy FCoE, and discussion of how to deploy FCoE, and how the choice of equipment. Finally, we discuss the post-acceptance and quality of the network system, and summarizes the problems and difficulties encountered in the application and implementatio
2、n of the project, and the experience on the implementation of Fibre Channel over Ethernet （FCoE）.Key Words：Converged network，FCoE，Data Center Bridge（DCB） 图目录表目录第1章 绪论1.1 课题背景随着数据中心（Data Centers）规模扩大和组网复杂性的增加，从多种不同业务应用所产生的流量也使管理技术变得更为复杂和成本高昂，随着近来以太网速率的新发展（10Gbit/s已经是成熟的标准并得到广泛的应用，40/100Gbit/s仍然在开发中），
3、以太网已经成为下一代数据中心存储与数据传送技术融合最有吸引力的技术。数据中心技术不断地发展，使得以后的存储网络必须集成数据中心网络，光纤通道（Fibre Channel，FC）凭借其成熟可靠已经广泛应用SANs网络中。并且，以太网技术是局域网（LAN）理论以及事实上的标准。现阶段部署的光纤通道技术最高传输速率为4Gbit/s，它不能很快达到8Gbit/s的速率水平。而以太网已经支持10Gbit/s，并且40/100Gbit/s标准也在快速推进中，趋势表明部署全以太网技术是满足服务器集群和网络融合需要的最为关键的解决办法。以太网光纤通道（Fibre Channel over Ethernet，F
4、CoE）技术是把光纤协议放在以太网上进行传输，使得存储网络中的数据在光纤和以太网中无界限传输，从而节约用户构建网络的成本，降低管理方面的复杂性。数据中心以太网（Data Center Ethernet，DCE）的概念就这样被提了出来。1.1.1 数据中心I/O整合的出现传统的Fibre Channel（FC）技术凭借它的高速、高效、可靠和长距离传输，广泛的应用在存储网络（SAN）中。但是以太网技术凭借它自身的很多优点一直在网络领域中占据统治地位。这导致在组建数据中心网络时会需要分别建立很多套网络，其中用以太网承载IP流量，用Fibre Channel承载储存流量，由InfiniBand来承载高
5、速集群I/O。今天的数据中心环境（FCoE/CEE技术引入前）特点：1.服务器设备通过FC交换机连接的存储网络（SAN） 。2.服务器设备通过以太网交换机连接的IP网络。3.服务器设备上同时连接IP网络和存储网络。由于多种技术之间不存在联系（如：局域网与储存网），使得所有的数据中心服务器都需要有很多不同的I/O接口也就是服务器的网卡，它们有用于数据交互的局域网接口，以及数据访问的存储接口和某些网络需要的特定接口等等。数据中心中会同时存在多个独立运行的网络，这不仅会使数据中心的布线很复杂，还会因为不同的网络、接口所产生的不同问题导致需要增加不同类型的人员投入以及管理方面的成本投入。这样就造成了大
6、量的线缆、能耗和费用。I/O整合的思路是改变服务器上要有多张网卡分别连接各种存储、以太网等的现状，在进行整合后只需要一张网卡。I/O 整合与统一的设想是使适配器、交换机或存储系统使用相同的以太网物理基础实施来传送各种各样的类型流量和处理要求。数据中心管理人员可以减少主机的总线和服务器的适配器、线缆，减少电力开支、设备投资和管理成本。对于网络管理人员来说就是在一个网络中对不同流量类型进行安装和操作。进行I/O整合会把这些网络都融合到以太网上，在一条物理林路上同时跑多个网络流量（以太网的流量、存储的流量），因此建设I/O融合的数据中心以太网（Data Center Ethernet，DCE），能够
7、最直接地减少线缆和能耗，从而降低运维成本，这将会是数据中心网络的发展趋势。数据中心以太网还有一个名字那就是融合增强型以太网（Converged Enhanced Ethernet，CEE）。如图1.1所示。图 1.1 I/O整合1.1.2 增强以太网传统的以太网由于在传输上是不可靠的，所以当网络繁忙时可能发生丢包或者传输故障，然而SAN储存网络的对于数据的传输不允许有丢包现象的发生，因此不适合在存储信息的传输过程中使用。FCoE（Fiber Channel Over Ethernet）协议可以让传统的以太网承载光纤通道协议的数据传输。但是，光纤通道数据无法在传统的以太网上进行传输，想要实现这一
8、功能以太网需要拥有阻塞管理和流量控制功能，并且能够降低延迟和不丢弃数据包，于是出现了增强型的以太网。增强型以太网，并不是对传统以太网的加强和修改，而是由IEEE数据中心网桥（Data Center Bridge，简称DCB）工作组提出的一系列的以太网扩展协议，从而能够增强传统以太网在传输方面的可靠性。增强型以太网的两个主要特征是：第一，它是在以太网基础上进行扩展并且支持将上面提到的三类网络整合起来；第二，支持不丢包传输，从而可以支持那些对传输可靠性要求极高的服务。IEEE数据中心网桥（Data Center Bridge，简称DCB）工作组定义的标准如下： 基于优先次序的流量控制的802.1Q
9、bb标准； 冲突通知的802.1Qau标准； 增强的传输选择的802.1Qaz标准（包含数据中心桥接交换协议DCBX） 虚拟机支持IEEE802.1Qbg 另外，IETF的TRILL协议也将成为数据中心重要协议。91.2 课题的研究目的、研究内容和拟解决的关键问题本文以本人实习期间参加的一个中央人民广播电台大楼（后简称新媒体大楼）网络集成项目为例，对以太网光纤通道技术在网络系统中的应用和实施进行了阐述。研究目标是：研究内容：本人在此项目中主要负责互联网接入和FCoE的部署与配置方面的工作。主要研究如何根据新媒体大楼在对数据传输的可靠性和高效性方面进行优化。故此引入了增强型以太网概念，主要是为了
10、更好地完成新媒体大楼在数据传输的可靠性和高效性方面的要求。以FCoE技术为参考，制定内网设计的重点，满足用户的网络需求。利用FCoE技术将光纤通道信息封装在以太网包内，从而让服务器-SAN存储设备的数据流量可以在以太网上进行传输，而不用专门组建FC SAN网络。以下为本人在此次项目中的工作内容。首先，分析确定中央人民广播电台的内部局域网的需求和方案设计原则。规划内部局域网的总体结构图，对整体FCoE进行设计和部署。其次，根据所得的需求方案和整体的设计思路，对互联网接入部分和内部局域网部分进行设计与配置。分层进行部署与实施。并且引入增强型以太网概念和FCoE技术的部署和应用。也对该网络系统所用的
11、数据中心级以太网交换机进行详细的介绍，并且在选择设备上进行比较细致的分析。最后，主要是针对后期验收和质量服务保证设计的相关事宜。分别对用户的内部局域网使用情况进行了分析和验收，看是否达到预期的水平。并且总结在此项目的应用和实施中所遇到的问题和困难，以及所得到的关于以太网光纤通道（FCoE）实施方面的经验。1.3 本章小结虽然FCoE技术还不是很成熟，但是FCoE的应用越来越多，FCoE正在开发在FC SAN范围的应用并推进用户虚拟化部署的实现。从国外媒体最新的研究报告可以看出，FCoE不但能够克服一些FC SAN的原有的局限性，同时也能更好的帮助用户解决构建虚拟化策略的问题。将FCoE作为整个
12、网络的基础时能够降低数据中心设备或建立新的数据中心时所花费的成本。FCoE可以在在数据中心减少I / O适配器、电缆和交换机。但光纤通道和以太网融合就意味着存储管理员和网络管理员必须分担管理责任，或者一个团队由另一个团队来管理。如果两个团队合作不利，在组织内部也将是个大问题。总的来说，FCoE的实施不是技术本身的优劣问题，很多现实问题阻碍了它的普及。第2章 FCoE的概述2.1 FCoE与DCB的关系随着当前数据中心的演进，对于网络的要求越来越高。很多应用都要求网络传输过程中不允许有丢包现象的发生。在处理丢包的能力方面各种应用都存在差异。丢包对不同协议的影响是不同的，不同的应用会以不同的方式响
13、应：一些应用允许有丢包发生，它会重新发送所丢数据包使数据恢复。除了以太网能够支持这些情况外，其它应用都不能允许有丢包情况发生，要求在整个传输过程中不能有丢包产生。在以太网上传输光纤通道流量就是无丢包的一个典型示例。如果想让以太网满足无丢包的要求，那么就需要制定一种可以通过以太网提供无损服务的方法。IEEE数据中心桥接的流量管理扩展提供了这一能力。DCB-Data Center Bridge，数据中心桥接技术，是用来增强传统以太网的，可以用它来改进以太网络和数据中心管理。DCB又被称为 Converged Enhanced Ethernet （CEE）、Data Center Ethernet
14、（DCE, Cisco的商标）、Enhanced Ethernet for Data Center （EEDC）等。DCB在以太网基础上增加了以下四个基本的功能：流量分化DCB能区分LAN、SAN和IPC流量。无丢失SAN流量的要求。最优桥接允许数据中心中最短的路径桥接。配置管理提供了Fibre Channel 和 Ethernet基础架构配置管理功能。这种增强后的以太网被称为无损以太网，正如名字所说的，它是在传统以太网的基础上通过对拥塞的控制和暂停机制保证不会产生丢包现象。无损以太网利用802.1 Qbb基于优先级的流控（PFC）2来保证数据帧在传输过程中的暂停机制，是对802.3x的一种增
15、强，它可以把一条物理链路分成8个虚拟链路，针对每条虚拟链路都能进行暂停的管理和优先级的处理。无损以太网中另一种关键的协议是802.1 Qau后向拥塞通知协议，也叫量化拥塞通知（QCN）1。它的作用是当检测出拥塞发生时，汇聚的设备会创建一个拥塞通知消息CNM说明拥塞的程度，并且反压给导致拥塞的设备，然后收到该消息的设备会依据CNM的信息指示降低导致拥塞发生的的数据传送速率。因为CNM消息在传输时需要要跨网络中的很多节点，所以在拥塞发生后需要一段时间才能产生显著效果。所以将QCN与PFC联合起来使用，在PFC快速缓解网络拥塞的同时，QCN能从根本上解决拥塞问题。QCN可以看做是PFC的补充解决方案
16、15。另外还有802.1Qaz，该标准包括增强传输选择（ETS）3、自动发现和能力交换协议（DCBX）两部分3，802.3bd，该标准是为支持802.1Qbb PFC4而对802.3媒体访问控制（MAC）控制帧5进行的修订，用于通过修订后的M_CONTROL PFC原语实现对各优先级的PFC功能的使能和流量控制。这些就都不在此做详细的介绍了。 在上文对数据中心桥接技术做了简单的介绍，它是对以太网的一种增强技术，使传统以太网具备了不丢包的能力，也就是刚才所提到的无损以太网。实现这种网络实际上是为了支持FCoE技术，它将传统的SAN数据在以太网上进行传输。由于SAN中的FC协议要求无丢失，所以FC
17、oE在将SAN数据在以太网中传输时能够保证不丢包。最终实现网络的融合和统一。2.2 FCoE的工作原理FCoE拆开来讲就是Fibre Channel Over Ethernet，从字面上理解就是光纤通道在以太网上。简单的来说就是在以太网上传输传统的FC数据。FCoE是一种新的协议，它将光纤通道技术扩展到了以太网环境之中。FCoE结合了两种先进的技术：光纤通道技术和以太网技术。光纤通道技术在SAN领域里占据统治地位；以太网技术受到了所有服务器和数据中心的支持，为最终用户提供更为丰富的网络选择。FCoE协议规定了如何在以太网上映射光纤通道技术，这是独立于以太网的（参看图2.1）。该协议对光纤通道通
18、信的所有结构都进行了保留，通过渐进的方式来实现I/O整合，保留了光纤通道在各个方面的特点，同时也充分的利用了企业现有的工具和SAN网络。2.2.1 FCoE的封装光纤通道结构的封装是把光纤通道映射到以太网上。光纤通道和传统的网络都分成了很多层且每层都有不同的功能。光纤通道分为五层，从FC-0到FC-4。以太网分为七层，其中包含了一系列的物理和数据连接层协议。FCoE提供了在以太网上传递FC-2的能力（如图2.1和图2.2所示）。以太网通过以太网层传递上面的光纤通道层：FC-3和FC-4。图 2.1 FCoE映射 图 2.2 FC LayersFCoE协议规定了如何在以太网上映射光纤通道技术，这
19、是独立于以太网的（如图2.3所示）。图 2.3 FCoE如何把光纤通道封装进以太网中2.2.1.1 寻址因为具备了以太网的属性，FCoE使用MAC寻址机制在网络节点间传递信息包。光纤通道寻址需要终端到终端的认知。FCoE具有寻址和将光纤通道终端地址解析为以太网MAC地址的功能。2.2.1.2 安全性通过使用IEEE802.1Q标签，在以太网中能够部署多个VLAN，物理的网络就会被分割成为独立的虚拟网络。在VLAN中，FCoE通信可以和IP通信分离，域就彼此隔离，一个网络看不到另一个网络上的通信。2.2.2 FCoE交换技术想要在网络中部署FCoE技术，就必须要使用FCoE交换机来组建拓扑。只有
20、用支持DCB和FCoE的交换才能组建FCoE结构，并且这些交换必须能够与FC交换实现互操作，支持所有FC高级特性，并且在FC和FCoE结构上有相同的运行方式24。同时支持DCB和FCoE的交换机都带有10Gb以太网（GbE）端口，并且可能有4Gb或8Gb Fibre Channel端口。这使得这些交换机能够一起处理所有的LAN和SAN流量，而不是将这些流量转发到数据中心其它位置的现有的LAN和SAN基础架构。如Cisco的Nexus系列交换机就是为FCoE设计的。2.3 FCoE的优势2.3.1 布线简化由于FCoE将原先的局域网LAN数据和区域储存SAN数据整合在了一起，最直接带来的就是机架
21、在布线上的简单化。原先每台服务器至少需要四个接口：两个NIC和两个HBA，而现在的每台服务器只需要两个FCoE适配器就可以了。同时还节省了PCI插槽。由于能够在同一根物理线缆上同时传输FCoE和IP，所以导致减少了机房线缆的数量，每个机架上的线缆数量都能减少一半。在一个普通的40个服务器的机架上，就可以将原来的80根以太网连接线和80根光纤通道连接线缩减成80根FCoE连接线。线缆数量的降低带来的好处是直接降低了布线的成本，并且也降低了线缆发生故障的可能。布线结构变得更为简单合理，方便日后的整改。2.3.2 集中管理将FCoE部署在数据中心网络接入层当中，可以使其不会影响当前的数据中心管理工作
22、。CNA聚合网络适配器有一个以太网接口和一个光纤通道触发器，操作系统把它看成是两个物理设备，聚合网络适配器可以在硬件上实现FCoE，或者可以使用一个软件触发器，也就是服务器适配器。这种技术让现有的聚合网络相对于操作系统和应用来说变得更加明了，网络管理员和系统管理员可以分别以自己的方式来管理各自的域。这种管理模式的一致性降低了FCoE布署的难度，同时也降低了运行成本12。并且FCoE无需改变SAN的运行管理模型，FCoE服务器可以访问通过SAN连接的存储设备，实现了对已有FC SAN的投资保护。2.3.3 高效性和可靠性目前，已经有了10 Gbps的以太网，甚至已经开始讨论40 Gbps和100
23、 Gbps的传输机制，FCoE可以充分享受网络技术飞速发展为其带来的高速优势。又因为FCoE具有无损以太网的特性，能够使网络没有丢包产生，这能够满足一些对数据传输要求很高的企业的需求。在数据的传输过程中会较之以前更加爱的高效和可靠。2.3.4 降低能源消耗调查显示，数据中心设备的能耗在整个数据中心能耗中占到了超过50%的比重。到目前为止，消耗的能源最多的是服务器，存储和网络的比例相对较小。如果数据中心能够减少使用NIC和交换机的数量，那么能耗就会大为降低，这一结果同时也降低了数据中心供电和制冷的能耗。数量更少的线缆同时也意味着机架从前向后将会有更好的空气流通，从而也提高了制冷的效率。2.4 本
24、章小结本章介绍了DCB和FCoE的关系，FCoE的工作原理以及FCoE所带来的变化。FCoE的产生使得企业可以有机会真正的把他们的以太网同光纤通道网络以最佳的方式连接在一起。FCoE和强化后的以太网相结合，让数据中心能够整合I/O和网络基础架构，既节约了布署成本，也降低了运行成本，同时却提高了灵活性并增强了管理员对网络的控制能力。所以在数据中心网络使用FCoE技术是一种十分正确的选择。第3章 新媒体大楼FCoE的设计3.1 新媒体大楼LAN网络需求分析图 3.1 新媒体大楼网络总体拓扑图3.1.1 互联网接入部分如图3.1为新媒体大楼的总体拓扑图分为互联网接入部分和内部局域网部分。外网是新媒体
25、大楼建设的重要组成部分，承担着业务数据的处理与存储、系统运行与管理、身份认证与安全监控等核心业务；承载三个网站采编、发布、运行维护、安全监控等各种应用，及内部数据交换和信息共享等。因此，外网建设的质量直接影响着整个网站系统的建设质量。在进行互联网接入的设计时，针对具体业务系统、用户需求、网络技术和基本设计原则，着重考虑了下列问题：应用结构目前的应用结构基本上都采用Client/Server架构，越来越多的用户终端通过网络与中心服务器发生联系，数据交换大量地集中在网络主干。多媒体需求在Web2.0时代，网站应用充斥着大量多媒体内容，这就要求在网络设计中充分考虑多媒体信息传输的要求。主干路由由于越来越多的流量大量穿梭于网络的边界，使得虚网间的路由成为主
