1、,企业存储资源池整合及 技术选型方案,Agenda,企业存储资源池建设需求、架构目标及难点分析存储资源池关键技术及适用性分析 存储资源池架构建议存储资源池解决方案Q&A,IT资源池总体目标,IT资源池的模式改变了传统IT系统的资源配置模式，使得IT系统的资源配置更灵活、高效。未来，资源池需 要在资源、管理、服务方面协同演进，构建“低成本、高效率、自动化”的资源服务平台。,IT资源池的目标是有效的管理IT 资源，并通过网 络方便、实时地 为用户按需提供 服务和产品。,资源,管理,服务,全类型：服务器（小型机/x86、物理机/虚拟 机）、存储、网络、软件全兼容：兼容所有虚拟化软件及硬件厂家全覆盖：
2、覆盖业支与管信所有系统资源池内资源使用可灵活共享、高效,资源全生命周期管理资源配置管理自动化资源维护管理自动化资源安全管控自动化,将资源打包成标准化的服务对外提供服务申请、使用、回收全流程管理资源计量与监控,云资源池目标架构蓝图,APP,集成平台,决策支持,云管理平台,物理资源层,x86服务器,小机服务器,存储设备,网络设备,中间件,数据库,分布式计算,虚拟资源池,平台服务,池化资源层,物理资源池,虚拟机,资源提供层虚拟磁盘虚拟网络资源动态分配,操作系统,应用服务门户,物理资源,自服务门户,其他,流程管理,资源管理,资源调度,资源监测,云管理平台：自动化服务运营平台，提供 统一监控，服务管理和
3、安全保障,资源提供层：动态调度和分配资源池资源，向上提供物理或者虚拟资源,池化资源层：虚拟化软件平台，提供物理 设备整合，池化与资源的细粒度切分,物理资源层：物理设备的集合,云资源池（红框部分）的核心特征资源共享和分级保护统一监控和管理动态调度，按需服务自动化运维,存储资源池特性需求总结,存储基础架构相对稳定，在出现新系统部署、存储性能需求提升、存储容量提升等 需求下，基础架构无需做太大调整（如设备搬迁、长时间的停机数据迁移等工作）即可平滑扩展和提升。既可以满足远期部署规划，又可以应对短期突发性的容量、性能增长要求。结合硬件设备自身生命周期的规律，数据可以平滑、在线的从旧的设备迁移、流动 到新
4、的设备上。从另一角度来看，使用年限越久的设备，可以平滑的在现有架构下 从关键生产系统逐步转移作为二级、测试设备使用。充分利用各存储设备的性能和空间，避免出现使用不均、分配不合理的现象。根据 规划或突发性的变更需求，依据业务类型的特征来分配最合理的资源，例如将容量、性能要求高的系统数据平滑迁移部署到最合适的高端设备（包括设备、介质、RAID 类型、缓存等资源）上，反之亦然。在共享硬件资源的基础上，不同业务数据需确保性能不相互干扰、数据访问可完全 独立。SLA及QoS保障。便于统一管理、统一维护，在单一界面中可直观管理资源池中所有的存储设备，监 控其运行状况，第一时间感知故障或隐患。,平滑扩展、均
5、衡部署,统一管理,透明流动,可靠性及QoS,共享存储资源池建设的几大难点及挑战,是否只有采用分布式、软件定义式（SDS）的存储技术才可以满足共享资源 池中爆发式的数据空间和性能的增长要求？,2,1,是否采用一种存储架构就可以满足所有业务类型的数据存取要求？,是否只有采用基于硬件的存储虚拟化技术才可以解决异构存储统一整合管理 的问题？,3,如何解决存储资源池中统一管理、高效维护、快速故障定位分析的问题？,44,Agenda,企业存储资源池建设需求、架构目标及难点分析,存储资源池关键技术及适用性分析,存储资源池架构建议存储资源池解决方案Q&A,Every 7-10 years,technology
6、 delivery undergoes a tectonic shift;one that opens up new business and access models.A shift that changes the way technology is consumed and the value thatit can bring.A change in what is possible.A removal of inhibitors that unleash the power of innovation.Today,mobility,social,big data,and the ad
7、vent of cloud computing are representative of such shifts offering a new means for IT to help organizations accelerate progress towards solving their most pressing challenges(including speeding innovation,enhancing agility,improving financial management).These shifts can unleash the power of IT to n
8、ot only support but help shape the business.Mainframe era brought IBM direct attach and ESCON followed by EMC Symmetrix,IBM DS,and HitachiClient/Server brought 2-node architectures from DEC,Data General,HP,and others to meet revolution created from attach of MicrosoftThe Internet,Mobile,Social,etc.a
9、re all being driven by virtualized server environments but most of the storage array architectures remain built for the mainframe or client/server era and fail to meet the business needs required to be competitive in this new era,传统存储不能满足新的需求,ERP,CRM,SCM,PLM,Amazon Web Services,IBM,Rackspace,Hyland,
10、LimeLight,Alterian DatapipeOpenText,PaperHost,HP,Xerox MicrosoftOpSource,SLI Systems,EMC,Qvidian,Xactly,Zoho,Adobe,Avid,Corel,Microsoft,Paint.NET,Serif,YahooSugarCRM,CyberShift,SabaPPM,Softscape,H Tata CommunicationsAribaNetReach,Yahoo!,Quadrem,Elemica,Kinaxis,CCC,JoyentDCC,SCM,Cost Management,MRMOr
11、der Entry,Product,Configurator,Bills of Material,Engineering,Inventory,Manufacturing Projects,Quality ControlHCM,Business,Lifestyle,Music,News,Productivity,Reference,Travel,每60秒,400,710 条广告 请求,2000 首歌词在Tunewiki上播放,1,500 条消息通过PingMe发送,34,597 名用户正在 使用Zinio,玩“愤怒的小鸟”游戏208,333分钟,23,148 个应用 下载,Unisys,Burr
12、oughs,Hitachi,NEC,Bull,Fijitsu,ADP VirtualEdge,Kenexa,Sonar6 Sonar6,Taleo,Workscape Sage,Online,Cornerstone onDemandExactSoftscapeFinancialFIntraLinksVolusion,SabaIntacct,NetSuite,SAP,NetSuite,Accounts Receivable,Fixed Assets,Costing,Billing,Activity Management,Payroll,Training,Time&Attendance,Roste
13、ring,Sales tracking&Marketing,Service,CommissionsDatabaseClaim ProcessingData Warehousing,98,000 条推文,Finance,TripIt,Education Pinterest,Utilities Zynga,Baidu,Twitter,Yammer,Atlassian,SmugMug,SmugMug,Atlassian,A,iHandy,PingMe,AssociatedcontentMobilieIron,Flickr,Snapfish,YouTube,Tumblr.Amazon,Urban,Sc
14、ribd.,Pandora,Mixi,CYworldJive Software,Qzone,Xing,Heroku,New Relic,AppFog,GoGrid LinkedInBromium,Splunk,CloudSigmaGames,NavigationcloudabilityPhoto&Video,kaggle,FacebookParse,SportScaleXtreme,SolidFire,Workbrain ZyngaWorkdayYandex TwitterZillabyteSuccessFactors AtlassianRightScale,BeyondCore,dotClo
15、udMozyPingMe,Entertainment Viber ASocial Networking,Toggl,MailChimp,QuickbooksNetDocuments,Foursquare,Dragon Diction,Plex SystemsGoogleeBay,SuperCam,UPS Mobilebuzzd,Fed Ex Mobile,Scanner Pro,HP ePrint,iSchedule,Khan AcademyRenren,BrainPOP,MobileF myHomework,FringCookie Doodle,Ah!Fasion Girl,可靠与稳定 云和
16、虚拟化 成本与管理,不可预知 非结构化 不受限制,互联网CyberShift,客户端/服务器Cash ManagementHCMTime and Expense,大型机,移动、社交、大数,Docu据Sign 和云Yandex Hootsuitenebula,来自传统厂商的老式存储已采用了15至25年,传统存储架构在新的IT 趋势下，越发显得力不从心；当前的IT趋势是向着：融合，云，虚拟化方向发展的。Problem?Customers cant get there on old and outdated storage infrastructure,17到20年前,可预知的工作负载；,固定的物理
17、设备；,巨额的IT预算,有限的分析 需求,结构化数据,存储正在向现代架构发展,CapEx,Information assets,Unpredictability今天Virtualization&ITaaS,不可S预hi知ftin的g需O求pEx/虚拟化 和 ITaaS,降低运营成本/资本支出,数据多样性，大量的非 结构化数据产生,“大数据”，延展信息 的价值,Shifting OpEx/,Unpredictability融合存储Virtualization&ITaaS,联合 和 横向扩展CapEx构建于行业标准Information assets各部件协调一致工作,存储无界限,存储技术发展,传
18、统SAN/NAS存储特点双控制器模块阵列多控制器并行阵列软硬件集成专有系统以Scale UP为主，容量/性能 扩展有限,-分布式存储特点标准化部件/组件多控制器/节点并行纯软件或软硬件集成开放系统/开源以ScaleOut为方向，容量/性能扩展能力强,全新高端存储多控制器+磁盘条带化架构带来领先的性能,1.底层虚拟化条带2.多控制器全活并行3.专用ASIC芯片4.独立的控制数据路径和硬件,01234567R1 R1 R5 R6 R6 R1 R5 R53PAR InServControllers,Physical Disks,高端存储架构对比分布式SDS块存储架构,实际可用每TB成本真的贵很多吗？
19、,不考虑精简技术，数据可用率最多33%SSD/Flash加速为必选项一般不推荐采用大容量SATA硬盘,不考虑精简技术，数据可用率至少75%SSD/Flash加速为可选项SSD重删功能越来越普及分层、混合、全闪等多种方案可选,分布式系统架构的设计,分布式应用系统,分布式数据库,分布式文件系统,分布式存储系统,通用 的 X86基础 平台,依赖单一硬件性能/扩展性依赖软件架构扩展性XX 电信/移动 CRM库改造/XX 电信无线网优改造,分布式存储架构+软件定义存储技术适用性分析通用的分布式系统是否存在？,通用兼容,数据生命周期,强大的扩充能力,丰富的功能,快速响应,高吞吐量,高度可靠,文档处理,简单
20、,易用,ACID,自动分层容易恢复,自动优化,自动优化,不间断运行,动态适应,安全,适应各种数据,分布式系统自身约束及适用性,面向用户的请求处理型 订单受理、资料查询、订单 处理等请求处理型应用,典型的OLTP类型应 用，应用变动频繁，一致性要求高，可靠 性和可用性要求高,Share-Something,向上/有限向外,CA/CP,大节点/小节点,独立存储,面向网络的重复性任务 话单采集、格式转换等简单、重复性计算处理,批量类应用，简单计 算模型，数据量大，对总体吞吐量要求高,Share-Nothing,向外/向上,CP,大节点/小节点,分布式存储/独立存储,核心是复杂任务计算 复杂的计费、账
21、务处理，以 及基于关系型数据库的数据 处理等,复杂计算，数据关联 复杂，对数据库层查 询分析功能要求高,Share-Something,向上/有限向外,CA/CP,大节点,独立存储,海量数据分析与挖掘经营分析、针对性营销等,典型的OLAP类应用，海量数据处理,Share-Nothing,向外,AP/CP,小节点,分布式存储/独立存储,场景业务场景存储架构适用性分析和建议,某XX公有云公司对存储技术选型,标准系统,I WEB,IIDatabase,IIIHadoop,IVPhoto,VFeed,VICold Storage,CPU,High,High,High-Low,Low,High,Extr
22、emely Low,Memory,Low,High,Medium-Low,Low,High,Low,Disk,Low,High IOPS Flash,High,High,Medium,High,Service,WebChat,Database,Hadoop Bigdata,Photo Video,Multi-Feed Search,Ads,Cold Stor,业务场景不同，会带来对技术及设备选型的不同,分布式存储架构举例-Hadoop HDFS,一个分布式文件系统存储大量的数据建立在大规模的廉价x86集群之上硬件模块会出错，出错可能同时发生文件数量可能在百万级文件很大，数百GB大小很常见读写特
23、性：写入一次，多次读取。写入过程可能是并 发的，读的过程是连续的读取整个系统对于吞吐率的要求非常高，但是对于延迟不 敏感,水平扩展：简单加入更多服务器就能够扩展容量和吞吐量最大的实用集群：4000个节点。通过复制提供高可靠性单个或者多个节点不工作，对系统不会造成任何影响，数据 仍然可用。,限制：不善于处理海量小文件不适合应用于延迟敏感的环境不善于处理随机IONoSQL环境名字节点存在单点故障,Hardware agnosticHypervisor independent Federated and scale-outUse the power of virtualization to turn
24、 a set of heterogeneous and disconnected physical disk drives in your servers and storage devices into a single pool of logical storage capacity.Experience the benefits first hand:Lower costs:use capacity you already own to deploy new applicationsIncrease agility:respond to change more easily and wi
25、th non-disruptive data mobility Boost efficiency:dramatically reduce power,cooling,and floor space requirements Reduce risk:enable application high availability across servers,hypervisors,and locationsHP is the market leader in the virtual storage appliances category.HP StoreVirtual VSA is the first
26、 and only product of its kind that can run on any x86 hardware platform and span both VMware and Microsoft Hyper-V environments.,软件定义的存储（SDS-ServerSAN）,与硬件无关：任何 x86 服务器或虚拟机环境，存储属性完全 由主机上的软件来定义，包括压缩、加密、横向扩展、对象 存储区、文件系统、元数据搜索等在内的共享技术共享容量的开放池独立于承载平台监控程序：VMware 和 Microsoft Hyper-V覆盖多个虚拟机监控程序联合和横向扩展：各存储节
27、点具备集群扩展能力，轻松 扩展并移动数据，同时提供极高的可靠性分布式横向扩展架构从具有融合基础架构和第三方集成的任何设备提供自动 化和访问的元素管理器。集成化的管理和良好的通用接口,软件定义存储产品举例HP StoreVirtual 4000 VSA,具有企业级存储功能的一应俱全的许可虚拟化平台集成以实现功能增强和易操作性,简单,可扩展,高度可 用,无中断扩展性能和容量独有的站点间网络RAID技术,可用性和可靠性高达 99.999%多站点灾难恢复和透明故障转移系统和位置之间数据在线移动以及技术变更,适用于 vSphere 和 Hyper-V 的 StoreVirtual 虚拟机将服务器转化为功
28、能齐全、高度可用的阵列针对虚拟化环境的简单管理,限制：,单一系统扩展性相对有限（不超过32 个节点）单一系统性能无法达到高端FC SAN存 储水平适用场景仍局限于中小规模数据中心,分布式存储架构举例-超融合系统 HP CS250/EVO-Rail,基于SDS+hypervisor虚拟层，将计算虚拟机资源与SDS节点部署在同一组X86服务器集群上，将SAN+LAN两层网络简 化为一层由于计算与存储节点部署在同一服务器上，使得大部分存储 的IO流量在服务器内部完成，避免了跨服务器的IO（特别是 读操作），使得性能大大提升,数据在不同服务器的存储节点上以多副本方式保存,简化管理，配置相对均衡，平滑扩
29、展，同步提升容量和性能,最适用于中小规模范畴内的数据中心整合,限制：存储扩展性受限于SDS规模多副本写开销仍无法避免配置相对固定，不灵活，且只能应用于同一Hypervisor的纯虚拟化VM环境。,VSA VSA,VSA VSA,分布式存储架构的具体技术实现分析,三种最常见的分布式存储扩展模式：,1.分布式文件系统：使用节点直连存储或内置硬盘方式，存储容量，存储性能三者同时扩展。上层软件体系已经实现了数据的高可靠性保护，多会有冗余的复制节点保证单节点故障时数据访 问不受影响。例如Hadoop HDFS文件系统、IBM GPFS 等的 数据存储实现方式。,2.分布式块存储：多采用通用的X86服务器
30、（或虚拟机）+内置（或 外挂硬盘）+专用存储控制软件的软件定义存储方 式（SDS）实现使用独立的存储系统网络，提供iSCSINAS访问 接口，存储容量和存储性能一般可同时扩展，但 与计算能力无关。存储系统自身的架构可保证不同节点间的高可靠 性保护，不同节点间的数据多会有镜像复制关系。例如HP StoreVirtual VSA、EMC Scale IO、Vmware VSAN等。,分布式存储架构的具体技术实现分析（续）三种最常见的分布式存储扩展模式：,3.融合系统分布式计算和分布式存储共同部署使用计算节点直连存储或内置硬盘方式，计算能 力，存储容量，存储性能三者同时扩展。多会有冗余的复制节点保证
31、单节点故障时数据访 问不受影响利用Flash技术提高IO响应。例如Natanix 集成系统、Huawei Fusion Cube 等 的数据存储实现方式。,分布式存储分类,存储资源池关键技术适用性分析软件定义存储（ServerSAN）技术分析存储虚拟化技术分析自动精简配置技术分析智能分层加速技术分析存储资源利旧及数据流动技术分析,存储资源池关键技术适用性分析软件定义存储（ServerSAN）技术分析存储虚拟化技术分析自动精简配置技术分析智能分层加速技术分析存储资源利旧及数据流动技术分析,The SW option has become a more viable alternative due
32、 to 4 factors:1)New,more powerful servers that now provide robust platforms to apply software technology to2)The wide adoption of virtualization that is creating the demand for highly available shared storage3)The increase in disk performance and capacity now has software based storage performing mo
33、re than adequately(and sometimes better)than ever before4)Economic pressures have forced business leaders to analyze how they can reduce power and cooling costs as well as footprint within the data center.All of these factors have shown a dramatic increase in demand for virtual storage appliances to better tackle these issues.,哪些因素推动着软件定义存储的发展？,强大的 x86 硬件,虚拟化应用,经济 压力,磁盘性能和容量,软件定义存储的特点出色的效率和灵活性，随时满
