1、存储器那点事存储器的那点事存储器本系列文章为WatchStor专栏约稿，属于存储器发展史系列文章，将通过对基于磁盘的存储器不同分类，以及每阶段推动其发展动力的介绍，为广大读者梳理一条存储器发展的清晰脉络，通过本文作者深刻的技术实力及行业观察力，帮助您对存储器今后的发展有个清晰的认识。常见存储器分类知识产权, 云计算, 存储器前言注：本文中所谈到的存储器主要是指磁盘阵列，通过SAN/NAS/iSCSI等接口与主机相连，虽然说SAN交换机、物理带库、磁带机和光盘塔也属于存储的范畴，但不在本文讨论范围内。存储器，或者称作存储阵列，是当今业界一个比较Fashion的词，见过不少这个圈子里的公司为了提高
2、档次，会主动往存储行业靠，经常自我标榜“哥所在的系统集成公司是高科技，不仅搬箱子，哥还做存储”，“哥公司自己生产具有完全知识产权的存储器”（当然现在再这么说有点out了，现在流行自我标榜“哥公司现在做云计算高科技呢”）。当然，这个圈子里面的人在和身边朋友自我介绍是做存储这个高科技行业时，也经常碰到另外一种情况，“哥们你们那边250G的盘多少钱一块啊，你们卖U盘么？”那么存储器究竟该如何定义呢？在我看来，二十多年前Sun公司提出了“网络就是计算机”的理念，对于整个IT行业发生了翻天覆地的变化，那么我们也完全可以说“存储也是计算机”。存储是什么呢，对，存储也是计算机。2000年前的存储器，多是作为
3、主机的附属品出现的，记得97年本人在做系统管理员时，看到厂商在调试几套HP 9000和SUN小型机，几个集成商的工程师将一个个磁盘塞进一个独立架子里面（后来才知道那叫磁盘柜），一边塞进去还一边说：“哥们千万注意啊，这玩意叫磁盘阵列，贼贵，一块磁盘顶一台夏利呢”。我们当时大吃一惊，高科技啊，一块小铁片竟然顶得上大街上一辆出租车（其实当时也不过是给个JBOD+软件RAID，现在想想，真叫暴利啊）而且当时安装磁盘阵列也是看起来很高深的一件事情，不同于主机UNIX操作系统要插入光盘，输入命令、不断回车，磁盘阵列的安装往往是在主机安装完后再导入一些软件，然后运行一个脚本，出去吃个饭、抽根烟.就完成了。这
4、就是早期DAS阶段的典型工作流程，存储器在当时仅仅是服务器的附属品。2000年左右以后，国内的存储器市场慢慢进入了一个繁荣发展阶段，具有独立控制器的磁盘阵列产品越来越多（不再依赖于主机端的软件RAID技术）；另外除了IBM/HP/SUN/Compaq/SGI五大UNIX厂商有自己的存储器产品外，独立存储厂商在国内也如雨后春笋般出现了，EMC（第一次还以为是那个做显示器的厂商）、Brocade、Netapp、MCData、HDS等存储网络产品公司也慢慢地出现在招标书和投标现场，可以说，2000年以后，存储器进入了一个快速发展的时期。存储器和主机的采购可以分开、建立独立的存储网络等概念分别被以EM
5、C和Brocade为代表的存储公司发扬光大。存储与计算分离的概念颠覆了传统的DAS模式，在传统模式中，存储器被看作一个简单的外设依附于主机系统，而存储与计算分离以后，存储子系统从原来的计算系统中分离出来形成一个独立的子系统（这是EMC早期一再强调的概念），存储和主机间通过高速网络互联，这样存储器从后台走向了前台，这样诞生了Brocade和Mcdata（后被Brocade收购）等SAN网络设备公司。同时随着网络共享应用的持续增长和网络文件共享协议的成熟（SUN发明的NFS协议和微软推出的CIFS协议），文件服务器作为一种独立的存储器也走向了市场，其代表公司就是Netapp。一、常见的存储器的分类
6、现在业界有非常多的存储公司，每家公司也有不同档次的产品，当然每家公司都会花大力气大家宣扬自己的产品如何如何高性能、如何如何稳定可靠，档次如何如何高，而且都能摆出不少道理，所谓王婆卖瓜，自卖自夸嘛。那么存储器到底该如何分类呢，存储阵列的档次划分有没有依据呢，下面介绍几种常见的分类方法。1、专业IT研究公司Gartner的分类很多专业IT人士看各种产品在业界的定位和评测，都会参考Garnter公司的评价，那么Gartner公司是什么东东呢。高德纳咨询公司（Gartner）是全球最具权威的IT研究与顾问咨询公司，其官方网站: 针对于存储磁盘阵列行业Garnter会定期发布一些分析报告，我们取其中两个
7、比较有著名的报告类型，一份是针对于所谓的High-End企业级存储器市场的分析，比如MarketScope for High-End Enterprise Disk Arrays, 2H05实际上就是Garnter公司在2005年12月30日对于2005年下半年针对High-End企业级存储器市场的总结回顾；而另外一份叫Magic Quadrant for Midrange Enterprise Disk Arrays的报告就是Garnter定期用魔力四象限的方式对于Midrange Enterprise Disk Arrays的定义。通过定期对这两份报告进行分析，我们能够很方便地了解这个行业
8、各种存储器的定位和技术含量。1.1 Gartner定义的High-End Enterprise Disk Arrays分析我们首先来看看Gartner是从哪些角度给各家存储器厂商定位和评分的 Presales support售前技术部门的支持能力；Break/fix service and post-sales support售后服务和处理问题的能力；Total-cost-of-ownership evaluation总体拥有成本估算；Technologies that have the net effect of reducing power and cooling consumption
9、and space requirements 各家厂商的产品在节点、制冷技术和空间节省方面的技术特点；Independent software vendor support 独立软件厂商的支持力度；Acquisition, upgrade, service and warranty pricing 购买和升级费用，服务和保修费用；The impact of changing storage 更换存储器的影响。每隔一段时间Gartner会根据上述的评分标准将各家存储厂商定位到五个级别中，Strong Negative，Caution，Promising、Positive和Strong Posit
10、ive。那么Gartner是如何定义high-end enterprise disk arrays的呢？我们来看看其定义标准：1.Use a multiple controller architecture 使用多控制器体系架构；2.Support mainframe and open-system environments 支持mainframe和开放系统；3.Support FICON, Enterprise Systems Connection (ESCON) or Fibre Channel host connectivity 同时支持FICON/ESCON和FC光纤通道接口；4.Su
11、pport the z/OS operating system and/or other mainframe operating systems 支持z/OS和其他mainframe操作系统；能够进入这个所谓High-End Enterprise Disk Array 富人俱乐部的存储器较少，主要包括以下几种EMC Symmetrix V-Max and DMX-4 Fujitsu ETERNUS8000 Hitachi/Hitachi Data Systems Universal Storage Platform V and VM HP StorageWorks XP24000, XP200
12、00 IBM System Storage DS8000 and DS6800 Sun Sun StorageTek 9990V and 9985V可以说Gartner采用了一种非常经典和传统的方法来定义企业级存储器，即“出身血统论”（4个条件中除了第一条是多控制器外，其他都和IBM大机的连接性和支持力度有关），特别是表现在能够支持大机这一点（能够做到这一点的存储厂商确实很少，往往是那些很早就存储器或者做过IBM兼容机的厂商才具备这些能力和血统）。但是笔者对于这种划分方法持一定的保留意见，因为大机在如今新建的数据中心已经较少的出现，开放系统（AIX/HPUX/Solaris/Windows/L
13、inux和VMware等）占了绝对优势。而即时在IBM内部，Mainframe（大型主机）的重要性也发展速度也不比当年。用户花重金买“高端”存储器看中的是其性能、可靠性、可管理性和其他数据保护功能，至于他能否连接IBM Mainframe，其实并不那么重要。而且能够连接大型主机的存储器，往往配置相对较为复杂，比如HDS的USP系列在配置时就有个cu/ldev的概念，一般初学者是很难理解为什么要这么设计，其实这就是早期为了和大型主机连接而留下的传统产物。因此笔者的观点是，如果您的数据中心有预算买“高端”存储，不准备采用Mainframe（大型主机），或者说即时有Mainframe也不准备和开放系
14、统存储器互联互通（包括在中国四大银行数据中心，Mainframe和开放系统都是各有各的存储，一般也不会和开放系统共享存储器，甚至连维护人员都是分为两组）。因此建议各位在选型阶段所谓高端或者中端来说，不要拘泥于Gartner的报告分类，建议更加关注其体系结构（多控制器结构）、性能、可靠性、可管理性和其他数据保护功能。1.2 Gartner定义的Midrange Enterprise Disk Arrays分析Gartner采用了其经典的魔力四象限（Magic Quadrant）来定义Midrange Enterprise Disk Arrays，魔力象限是在某一特定时间内的对市场情况进行的图形化
15、描述。 魔力象限(Magic Quadrant)由Gartner公司于2006年9月25日取得“魔力象限”注册版权,并可以在获得许可的情况下重复使用。它根据Gartner公司的定义,它描述了Gartner公司依据标准对该市场内的厂商所进行的分析。Gartner公司并不对在魔力象限中描述的任何厂商、产品或服务出具官方认可,也不建议技术用户只选择那些位于“领导者”象限里的厂商。魔力象限仅用作一种研究工具,并不意味着是行动的具体指导。Gartner公司对该项研究不承担任何明示或默示的担保,包括适销性或适用于某一特定用途的任何担保。魔力象限的四个象限依次分别为领导者（Leaders）、挑战者（Chal
16、lengers）、有远见者（Visionaries）和特定领域者（Niche Players）。Gartner 公司表示所谓领导者，其提供的产品应包含额外的功能，且能提高市场对这些功能的重要性的认识，从而显示出对市场的影响能力。Gartner 希望一个领导者能够不断提高其市场份额、甚至占领整个市场,并且它所提供的解决方案能够引起越来越多企业的共鸣。所谓领导者还必须有能力在全球范围内开展销售并提供支持。 每隔一段时间，Gartner会根据各家存储厂商存储器产品的综合能力表现将其置于魔力象限的某个分区中，笔者认为这是一个不错了解业界存储厂商发展状态的评估报告，有一定的参考和借鉴作用。当然如果要找出
17、点问题的话，主要在于Gartner对于日益崛起的中国存储市场了解不够，国内不少冉冉升起的存储厂商和产品都没有收录其中。那么Gartner公司是如何定义Midrange Enterprise Disk Arrays的呢？我们来看看其定义标准：1.Use dual-controller or Cluster architecture 采用双控制器或者集群式架构；2.Support Unix/Linux/Windows and Netware server operation environment 支持Unix/Linux/Windows and Netware服务操作系统；3.Offer no
18、mainframe support 不提供对于Mainframe的支持；4.Have an average selling price of more than $24999 平均市场价格超过24999美金；5.Support block-access protocol 支持block访问协议（即常见的SAN/iSCSI网络访问）可以看到，这是常见的存储器架构，大家在市场里能够经常看到的IBM DS系列，EMC CX系列、HP EVA系列、HDS AMS系列、SUN 6000系列等等大都属于这个范畴，而且“出身血统论”再一次体现出来，划分标准中出现了“不提供对于Mainframe的支持”的字样
19、。这份报告对于收录的各家存储厂商的产品都有非常精辟的总结，值得一读。如果抛弃对于Mainframe的支持，其实这里面有几家新兴的存储厂商的产品已经初步具备了企业级高端存储的体系架构，比如3PAR的InServ Storage Server T系列和Pillar Data System的Axiom系列存储器，他们都支持多达8个控制器的紧耦合集群（EMC最新的Sym V-MAX也采用了类似的体系架构），很强的存储处理能力、可扩展性和可靠性，可以说这些公司的产品给存储市场带来了不少创新。2.2 按产品参数指标分类由于国内存储采购经常会碰到公开招标，以前也有很多用户或者集成商多通过产品的指标参数来区分
20、所谓高中低端存储。比如把常见的控制器超过两个、缓存超过64GB，磁盘数超过400块、IOPS大于几十万的存储器称为高端存储，反正即为模块化存储。当然这些指标也是广大人民群众在某一个时段总结出来的所谓“经验值”，随着时间的发展其指标是不断与时俱进的。就像篮球运动员一样，80年代1米9的可以打中锋，到了90年代要到2米才能胜任，到了2000年以后NBA当年四大中锋都是2米15以上，现在的大中锋姚明同学都要到2米26了，存储的指标也是如此。另外一点需要注意的是，由于EMC公司在存储市场的巨大影响力和强大的市场营销能力，其模块化阵列Clarion系列和高端Symmetrix系列存储器往往成为推动这些指
21、标参数定义的事实标准。如在中端市场，2002年EMC发布标志性的存储产品CX200/400/600，将模块化存储定义成三个档次，这个事实的标准让其他存储厂商苦苦追赶，好不容易也有了三个档次的模块化阵列，到了2008年EMC发布CX4后又将这个市场进一步细化成4个档次，CX 4-120/240/480/960，再加上更低端的AX系列，如此的细分让其他厂商往往难以追赶。因此在实际项目投标中，不同存储厂商“错位”竞争的情况就经常发生，人人都希望拿自己的“下马”去和对手的“上马”PK。然后随着存储市场的差异化发展，存储技术的革新和新的存储体系架构的出现，甚至出现了不少同一存储厂商新一代的模块化存储的一
22、些参数指标远高于现有的企业级存储入门级产品的指标，因此这种按参数指标来分类的方法也变得难以被使用，为了更加清晰地对存储产品定位，比较科学的方法是根据存储器的存储控制器的体系架构来进行分类。2.3 按存储器体系架构分类前面我们说过，存储器是什么，存储器也是计算机。计算机体系架构经历了多个不同的发展阶段（这里主要是指服务器体系架构），因此存储器比较学术的一种分类方法是根据其体系架构进行分类。如上图所示，我们可以根据存储器的体系架构将存储分成低、中、高三类，分别是低端的基于阵列控制卡技术的存储器，比如HP MSA1000，EMC AX系列；中端的基于简单群集技术的模块化存储器，比如EMC CX系列、
23、HDS AMS系列、HP EVA系列、IBM DS系列、Netapp FAS系列、SUN 6000系列；而高端存储器现在有两种方向，一种是基于统一大缓存scale-up架构多处理器存储器，比如EMC DMX系列、HDS USP系列、9900系列，另外一种是分布式缓存多处理器scale-out架构的存储器，比如EMC最新发布的Symmetrix V-MAX系列，不少新兴存储厂商3PAR的InServ Storage Server T系列和Pillar Data System的Axiom系列存储器从体系架构来说也属于这个系列。存储器体系架构计算机, 存储器, 体系, 时间, iPod存储器体系架构
24、那点事前面说过，存储器其实也是计算机，那么我们来分析一下计算机行业的特点。计算机行业属于新兴行业，和古董收藏行业是完全相反的，一般来讲计算机产品和设备（或者说是IT产品）越新出来则价格越贵，卖得越好且越受欢迎（比如以前大家喜欢内置微型硬盘iPod，现在早流行闪存盘的iShuffle了；以前看到个10Mb HUB就很稀奇，现在动辄千兆网甚至都到10Gb网络了），一个IT新产品上市过个三个月活着半年后就变得人老珠黄，再长点时间就更不值钱了，相反古董收藏行业的藏品确实越老越值钱，就像老中医一样人见人爱。那么影响计算机行业如此快速发展，频繁更新换代的最重要的部件是什么呢？应该说CPU是个非常重要的因素
25、，谈到CPU，我们不得不谈到业界一个非常有名的定理，摩尔定理。什么是摩尔定理呢，摩尔定律是由英特尔(Intel)名誉董事长戈登摩尔（Gordon Moore）经过长期观察发现的，摩尔在1965年文章中指出，IC上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍，原因是工程师可以不断缩小晶体管的体积。这就意味着，半导体的性能与容量将以指数级增长，并且这种增长趋势将继续延续下去。（1975年，摩尔又修正了摩尔定律，他认为，每隔24个月，晶体管的数量将翻番）。摩尔定理的验证和实现使得CPU速度变得越来越快，这样使得计算机产品变得越来越普及，处理能力也越来越强大，人类也越来越依赖于计算
26、机完成以前想都不敢想象的计算工作。这样的一个相互促进就使得计算机的设计从以前的单CPU发展到多核多线程CPU，再发多个物理CPU协同计算（因为单个CPU再怎么快也撑不住了）以此来提高计算机的整体处理能力，因此计算机系统的体系架构就成了一门大学问。计算机体系架构中一个很重要的部分就是如何让多个CPU一起并肩战斗，而且性能能够成倍提高，这是一个很深的学问。要直到能够设计制造出单个高性能的CPU是一回事，要能够把多个CPU组织在一起高效率地提高成倍的性能是另一回事。这需要非常精妙的系统体系结构设计。（就像打篮球一样，以前奥尼尔、科比再加上一群全明星级别的球员在洛杉矶队打球很漂亮，全员身体素质也是超级
27、好，可就是得不到总冠军，直到传奇教练菲尔杰克逊来了才得到了三连冠。可以说菲尔杰克逊教练的三角战术思想就是能够把湖人队多个全明星级别球员真正带成总冠军球队的最佳“体系结构”，后来奥尼尔负气离开了洛杉矶，科比再厉害还是好几年得不到冠军，直到最近挖来了加索尔才终于又尝到了冠军梦）。战术的设计说到底要考虑到两点，一是本身球队球员的能力，二来是要考虑到赛场对手的实际情况。那么我们来看看对于存储这场战役来讲需要考虑的因素。中国有句名言，钱不是万能的，但是没有钱是万万不能的，结合到存储行业来讲我们可以说，有了独立的存储器工业后，可以发现主机不是万能的（现在的主机主要负责信息的快速处理，而数据存储和数据保护等
28、工作渐渐被转移到存储器上去了），但是没有主机还是万万不能的。归根到底存储器的功能还是储存和保护被主机处理过的信息，其主要的设计思想应该是着重于在接受到主机的信息后做到以下几点：高性能的IO响应能力、高可靠性、可管理性和其他数据保护功能（如容灾、克隆、快照等）。那么根据这个思路，结合计算机体系架构的发展思路，整个存储器的体系架构划分和技术演进历程就相对清晰了许多。参考前文2.3中的图片，我们将整个存储器的体系架构分成5类，具体如下：1.入门级：基于阵列控制卡技术的存储器：满足基本的数据保护要求；2.中端产品：基于模块化集群技术的存储器，进一步满足高可靠性、可管理性的需求3.高端产品路线一：统一大
29、缓存多处理器存储scale-up架构4.高端产品路线二：分布式缓存scale-out多处理器存储架构5.其他混合型架构下文将根据这五条思路详细讲解。基于阵列控制卡技术的存储器1、基于阵列控制卡技术的存储器的设计思想存储器，首先是要能够做到保护数据，保护数据的方法在存储专业术语中叫做RAID，RAID是“Redundant Array of Independent Disk”的缩写，中文意思是独立冗余磁盘阵列。冗余磁盘阵列技术诞生于1987年，由美国加州大学伯克利分校提出。简单来讲就是将N个硬盘通过RAID Controller（分Hardware，Software）结合成虚拟单台大容量的硬盘使
30、用。基于不同的架构的RAID 种类又可以细分为: 软件RAID，硬件RAID 卡和外置式RAID存储器。1.1、软件RAID软件RAID很多情况下已经包含在主机系统中,并成为其中一个功能,如 Windows、Netware及Linux和各种UNIX系统。软件RAID中的所有操作皆由中央处理器负责,所以系统资源的利用率会很高,从而使系统性能降低。软件RAID是不需要另外添加任何硬件设备，因为它是靠主机系统主要是中央处理器的功能提供所有现成的资源。比如在开篇中我提到的在SUN服务器上连接的A1000系列和A3000系列磁盘柜，这些磁盘柜严格来讲不属于磁盘阵列，只能称之为JBOD，全称为Just B
31、undle Of Disks译成中文可以是简单磁盘捆绑或者“磁盘簇”，通常又称为Span。 JBOD 本身不能提供标准的RAID级别数据保护。因此当磁盘柜接入到主机后需要花些功夫配置软件RAID。早期的HP的DS2300、DS2405磁盘柜、MSA1000系列的扩展磁盘柜，SGI的TP9000磁盘柜都是常见的需要软件RAID配合才能实现数据保护功能的JBOD。软件RAID的最大优势在于由于不需要购买单独的磁盘阵列控制器而只需要采用廉价的JBOD磁盘柜从而大大节约了成本。但一般概念上，由于写操作需要耗费大量的RAID计算资源，软件RAID的性能是难以保证的，因此在高性能的计算环境中极少推荐使用软件RAID技术来保护数据而多推荐独立的磁盘阵列，至少也是采用硬件RAID卡。但也有个别情况例外，那就是对于视频点播服务器的文件存储，笔者在2000年早期曾做过不少视频服务器的项目，很多时候整体性能的瓶颈都是出在IO通道上面：如果不用RAID保护而仅仅在JBOD上做条带化打散的确能够很好地提升吞吐量，可是数据往往得不到保护，且这种环境下如果损坏一块磁盘其后果往往是致命的（因为这块磁盘上可能存放在很多视频文件的不同小片断）。当时这个问题很难解决，而早期Oracle发布过一款非常优秀的视频服务器OVS（Oracle Video Server）却
