XX数据迁移服务技术建议书.docx
- 文档编号:13733836
- 上传时间:2023-06-16
- 格式:DOCX
- 页数:59
- 大小:2.01MB
XX数据迁移服务技术建议书.docx
《XX数据迁移服务技术建议书.docx》由会员分享,可在线阅读,更多相关《XX数据迁移服务技术建议书.docx(59页珍藏版)》请在冰点文库上搜索。
XX数据迁移服务技术建议书
XX数据迁移服务技术
建议书
1项目概述
1.1项目背景-服务现状
随着XXX客户业务的增长,为了满足XXX日益增长的数据量的需求。
现XXX需要一套完整的高性能存储平台,并将该用户目前存储环境平滑过渡至该平台,并提供无缝的在线容量升级。
目前潜在的痛点在于:
✓原有存储设备有数据丢失的风险
✓现有存储容量已经几乎用完
✓部分系统的资源使用率超出其预估值
✓存储性能需要提高
通过使用新的高端存储和存储架构,XX存储解决方案解决了以上问题。
该解决方案主要通过以下方面体现:
✓对应XXX客户提出的数据存储建设要求,XX将部署支持高性能服务、节点服务、集成cache等特性的OceanStorXXXX存储
✓通过数据迁移专业服务将原存储数据迁移至OceanStorXXXX。
XX将提供一个终端到终端的专业服务项目,涵盖规划,部署,测试,数据迁移和培训,其生命周期将贯穿整个项目运作。
作为XXX客户的存储战略性规划的一部分,分阶段执行。
该项目交付将由专业服务团队执行数据的备份、迁移、和培训,最后将平滑的过渡至IT运维部门。
1.2项目宏观服务范围
本项目项下有关数据迁移服务的宏观目标:
✓XXOceanStorXXXX存储阵列的的安装和配置
✓将XXOceanStorXXXX存储集成至现有存储环境中去。
并对原有环境的功能和高可用性进行配置。
✓将原有存储的数据阶段的迁移至OceanStorXXXX新存储中
✓重定向新的数据增长到OceanStorXXXX存储
2XX数据迁移方法论
2.1XX数据迁移方案概述
为了更好的服务全球存储用户,XX全球服务部专门设置数据迁移专业服务团队,通过多个已成功交付项目的最佳实践,进行迁移活动生命周期的管理,并提供一个以客户体验为标准的端到端的数据迁移项目交付模型。
在数据迁移建模过程中,有效的风险管理是控制迁移项目的重要支柱。
数据迁移生命周期流程
2.2迁移风险&计划阶段
在数据迁移分析阶段,数据迁移专家和存储架构师主要进行数据收集和分析推演的工作,以便制定详细的迁移计划。
下图显示了一些常用的数据采集和分析技术。
分析阶段将在硬件出货前完成,因此不消耗项目进度。
数据迁移分析与规划流程.
2.3迁移实施阶段
在迁移过程中执行阶段,主要执行沟通计划和获取、安装和配置硬件、软件,自动化脚本。
在实际的数据迁移执行的过程中需要相应的工具。
除了迁移后进行验证测试外,迁移前也将进行预迁移数据验证测试。
这些试验将证实数据是在在迁移后与迁移之前具有相同的状态和一致性。
通常情况下,测试演练将在测试或开发(非生产)环境中进行。
在该阶段,实际数据迁移本身将是最重要的一部分。
正如下列表所述,正确的方法可以简化这个过程:
●增强数据迁移的传输速率
●最小化或跳过应用停机时间
●运行数据迁移在业务运行时间段进行
在任何应用环境下的数据迁移实施前,都需要实现制定好迁移前检查列表和迁移交付指导书。
相应材料的准备确保了迁移的平滑过渡、数据的完整性,以及相应的迁移回退策略的制定。
在计划于设计阶段完成之后,将制定完整版本的数据迁移指导书及数据迁移回顾文档。
指导书将包含如下部分:
❑验证在活动中所需的特定工作人员(含XXX)
❑应用备份/关闭流程
❑数据库备份/关闭流程
❑网络/安全动作(如.DNS)
❑服务器关闭流程
❑应用系统关联性
❑数据复制/快照/备份等对迁移的影响
❑法律与法规的评估
❑如需分批迁移,提供迁移决策点
❑服务器启动/测试/完成
❑数据库启动/迁移/完成
❑应用启动/迁移/完成
❑投产测试/完成
❑业务连续性/回滚计划
❑构建和验证HA&GEO等容灾软件
❑最终QA和迁移决策
2.4数据迁移完成阶段
迁移数据后,需要确保目标系统包含源的完整和准确的副本。
并确保迁移的数据仍然是由应用程序使用。
完成迁移后,将提供编制迁移报告,报告强调做了什么工作,哪些工作尚未完成,对现有迁移工作的内容总结。
需要确保迁移场景结束后,应用场景依然适用。
如在迁移后发现任何硬件或基础架构相关的问题或者不可控因素,则尝试解决该问题或者进行迁移回退,至原有状态。
此外迁移过程中需要始终保持原数据的可用性。
对原数据的保存将确保原有生产环境可随时回退。
在问题解决后,可以继续计划再次数据迁移,原有应用将不会受影响。
3数据迁移方法简介
3.1基于主机卷管理软件的数据迁移方案
3.1.1数据迁移方案架构图
3.1.2数据迁移工作原理
基于主机卷管理软件的迁移方案可以在不同厂商的存储阵列产品之间进行数据迁移。
在迁移的初始阶段将目标存储的LUN映射给主机并加入包含源存储LUN数据的卷组中,利用卷管理软件提供的镜像功能,使得数据在源存储和目标存储之间进行快速的复制,镜像完成后,将源存储LUN从主机卷组中删除,完成数据迁移。
数据复制过程中保持业务在线运行。
3.1.3迁移步骤
步骤1迁移前,I/O路径为“服务器主机—源存储”;
步骤2将目标存储加入客户的应用系统中,新增链路为“服务器主机—目标存储”。
在目标存储阵列上将新建的LUN分配给服务器主机。
此操作不需要中断客户业务系统。
具体包括:
1物理链路连接(如果需要替换主机的多路径软件,目标存储迁移完成前单路径接入);2光纤交换机划zone;3目标存储上建立主机组和主机,添加服务器WWN;4目标存储上添加LUN到服务器主机的映射;5服务器上发现目标存储映射的LUN;
步骤3在主机上将目标存储LUN对应的物理卷加入到包含源存储LUN的卷组;
步骤4在卷组内对源数据阵列和数据迁移目标阵列之间进行镜像操作;
步骤5确认卷组内数据镜像完成后,将源存储LUN对应的物理卷从卷组中删除;
步骤6完成数据迁移;
步骤7(可选)如需替换主机多路径软件,需要停止客户业务。
在服务器上卸载源存储对应的多路径软件,安装目标存储对应的多路径软件并按需重启主机系统生效。
多路径软件安装完成后,启动客户业务系统。
3.1.4方案特点
●基于主机卷管理软件的数据迁移方案可以针对主流的操作系统卷管理软件(WindowsLDM、AIXLVM、HP-UXLVM、SolarisSVM、Unix/LinuxVxVM)及Oracle数据库软件(Oracle文件存放在ASM管理的磁盘组)在不同厂商的SAN存储阵列产品之间进行数据迁移;
●对存储兼容性要求低;
●对业务系统拓扑改变小,某些场景下可以无中断或中断时间较短;
●数据迁移过程中数据复制通过主机卷管理软件进行,会占用服务器主机的CPU、内存等计算机资源;
●数据迁移过程中,业务不会中断,可以持续进行,但性能会有一定影响;
●无须在现有环境中安装任何软件或代理,方便快捷的进行数据迁移。
3.1.5停机时间和数据复制时间估算
卷镜像为在线数据迁移方案,此方案数据迁移时间分为数据复制及停机更换多路径时间两部分。
数据迁移时间为在线数据复制时间,此时间段内业务继续运行,为在线数据迁移。
数据复制、停机时间估算方法:
●数据复制(在线):
此步骤时间可以由总容量/迁移速率来评估,卷管理迁移方案一般可以按60MB/s来估算,例如1TB数据,同步时间为1TB*1024*1024/60MB/s/3600秒每小时=4.854小时。
*此速率按常用速率60MB/s估算,某些特殊情况,受客户主机硬件性能及业务繁忙程度影响,则迁移速率可能低于此数值。
●停机:
此步骤的中断时间可以按照每个标准系统(双机集群单阵列)2小时。
此时间为售前阶段需申明的时间,实际操作可能短于此估算时间。
具体包括:
1停止系统业务;2卸载源存储多路径软件,安装目标存储多路径软件;3主机更改存储相关配置进行适配;4启动系统业务。
因此,以一个双机,单存储使用卷镜像方案迁移的例子对迁移和停机时间进行说明:
例1:
客户一套系统需搬迁的LUN原始裸容量(LUN的总容量)为20TB,则阶段时间如下:
数据复制(在线):
20TB*1024*1024/60MB/s/3600秒每小时=97.1小时
停机更换多路径:
2小时
总共客户需停业务:
2小时
总共迁移时间:
97.1+2=99.1小时
3.1.6使用建议
●建议在主机业务非高峰期进行迁移。
●主机集群为并发集群并使用LVM的场景下,需要在单节点下进行迁移,迁移完成恢复集群正常运行状态。
3.1.7技术限制
源存储的限制
●N/A
目标存储的限制
●目标存储必须满足主机的兼容性要求;
●替代阵列的容量≥原阵列的容量。
光纤交换机的限制
●光纤交换机有足够的空余端口供新阵列使用,具体需要端口数与组网方式强相关,每台光纤交换机至少需要2个空余口。
服务器的限制
●操作系统与替代阵列多路径软件兼容
卷管理的限制
●添加目标存储的LUN到AIX,HP-UX,Solaris主机上的卷组前,需要评估添加后是否会超出卷组的规格。
以AIX和HP-UX下LVM为例:
AIX下卷组限制
VG类型
PV最大数目
LV最大数目
PP最大数目
PP最大容量
常规
32
256
32,512
1GB
大容量
128
512
130,048
1GB
可扩展
1024
4096
2,097,152
128GB
HP-UX下卷组限制
LVM版本
PV最大数目
LV最大数目
PV上PE最大数目
PE最大容量
1.0
255
255
65535
256MB
2.0
511
511
16777216
256MB
2.1
2048
2047
16777216
256MB
2.2
2048
4190209
16777216
256MB
●Windows上使用LDM逻辑磁盘管理进行迁移,待迁移的源存储LUN如果是基本磁盘,需要转换为动态磁盘(此过程不会丢失数据);如果已经是动态磁盘,那么只支持简单卷的镜像迁移。
3.1.8选择此方案的优选场景
●客户对业务连续性要求较高的UnixLVM或Unix/LinuxVxVM迁移场景优选此方案。
3.1.9责任界面
在整个数据迁移过程中,XX工程师负责以下内容:
●数据迁移过程中的数据复制工作;
●协助用户完成数据迁移后数据的验证工作。
在整个数据迁移过程中,XX工程师不负责以下内容,以下工作内容需要由用户协调解决:
●存储阵列在服务器主机上的配置工作;
●业务系统数据的备份工作;
●业务系统的启动、停止工作;
●数据迁移过程中对用户业务系统光纤交换机、以太网交换机的配置工作。
3.2基于文件拷贝工具的数据迁移方案
3.2.1数据迁移方案架构图
3.2.2数据迁移工作原理
基于文件拷贝的数据迁移是一种文件系统层级的迁移,可以在不同厂商的存储系统之间进行数据迁移。
其迁移过程分为两个阶段:
数据初始同步阶段和差异数据同步阶段。
数据初始同步阶段可在线进行,其将源数据空间的已有数据通过文件拷贝工具同步到目标数据空间中;差异数据同步阶段,为了保证源数据空间与目标数据空间的数据一致性,此阶段需要短暂的业务离线,同时通过相关参数设置,将源数据空间中的差异数据同步到目标数据空间中。
3.2.3迁移步骤
步骤1迁移前,I/O路径为“服务器主机—源存储”。
步骤2依据源数据空间大小,完成目标数据空间的创建,然后将目标存储接入客户网络中,并添加对主机的映射,完成目标文件系统的挂载:
1物理链路连接2目标存储上创建目标数据空间3服务器上挂载目标文件系统
步骤3在服务器主机上进行初始同步,将源文件系统上的文件迁移到目标文件系统中。
步骤4初始同步完成后,服务器主机上中断业务。
进行增量同步,将源文件系统中增量数据同步到目标文件系统中。
步骤5确认增量迁移完成后,断开源数据阵列与服务器主机的逻辑连接,解除源存储到服务器主机数据空间映射,连接方式由“源存储—服务器主机—目标存储”还原至“服务器主机—目标存储”方式。
此步骤的中断时间长度与文件数量与待增量的数据量有关。
具体估算方式可参照1小时+文件数量/1千万*3小时。
此事件为售前阶段需申明的时间,实际操作可能短于此估算时间。
步骤6启动客户业务系统,完成数据迁移。
3.2.4方案特点
●基于文件拷贝的数据迁移方案可以针对主流的操作系统(Windows、AIX、HP-UX、SuSELinux、RedhatLinux和其它Linux平台)在不同厂商的存储阵列产品之间进行数据迁移;
●方案支持网络文件系统(NFS/CIFS);
●数据迁移过程中数据复制通过位于服务器上的数据迁移工具软件来完成,对位于迁移服务器上的业务系统会造成较大压力。
会占用大量服务器CPU、内存等主机资源;
●数据迁移过程需要短暂的业务离线;
●需要现有环境中存在文件迁移软件,若没有,则需要进行安装;
●方案需要考虑目标存储与服务器主机的兼容性,不需要考虑源存储与目标存储之间的兼容性。
3.2.5停机时间和数据复制时间估算
文件拷贝迁移方案为在线数据迁移方案,此方案数据迁移时间分为新存储接入、目标文件系统创建、初始同步时间、停机增量迁移与主机存储配置。
在初始同步阶段为在线数据迁移,在增量迁移时必须通过短暂的业务离线来保证数据一致性。
初始同步、增量迁移与主机存储配置时间估算方法:
●初始同步(在线):
文件拷贝的速率受到服务器主机性能,待迁移数据类型(主要是海量小文件还是大文件)等的影响。
此步骤时间可以由总容量/迁移速率来评估,文件拷贝迁移方案一般可以按60MB/s来估算,例如文件数量为1千万,数据大小为1TB,同步时间为1TB*1024*1024/60MB/s/3600秒每小时+1千万/1千万*3=7.85小时。
此时间为售前需申明的时间,实际操作可能短于此估算时间。
●增量迁移与存储配置(离线):
此步骤的中断时间分为增量迁移和存储配置。
中断时间可以参照1小时存储配置时间+文件增量迁移时间(文件数量/1千万每小时)。
例如文件数量为1千万,离线时间为1小时+1千万/1千万每小时*3=4小时。
因此,以一个服务器主机,单存储使用文件拷贝迁移方案的例子对迁移和停机时间进行说明:
例1:
客户一套系统需搬迁的文件系统容量为1TB,一共2千万个文件,则阶段时间如下:
初始同步时间(在线):
1TB*1024*1024/60MB/s/3600秒每小时+2千万/1千万每小时*3=10.85小时
增量迁移与存储配置(离线):
1小时+2千万/1千万每小时*3=7小时
3.2.6使用建议
●NAS存储的迁移场景
●客户对业务连续性要求较高的迁移场景
●有较大网络延时的场景
●源存储不在我司存储兼容性列表和VIS兼容性列表中的场景
3.2.7技术限制
权限限制
●必须在调研阶段调研清楚源文件系统支持的文件权限和已有的文件权限信息
目标存储的限制
●替代阵列的容量≥原阵列的容量
●服务器与目标存储兼容
服务器的限制
●操作系统与替代阵列多路径软件兼容
●操作系统类型有对应迁移软件工具
●操作系统上能成功安装对应的迁移工具软件
●该方案对服务器性能要求较高
3.2.8选择此方案的优选场景
●客户大容量NAS存储搬迁场景,设备类型,业务OS类型和使用方式较多样化的存储替换场景
●客户可以允许短暂的业务中断的场景
●客户大容量网络文件系统数据搬迁场景
3.2.9责任界面
在整个数据迁移过程中,XX工程师负责以下内容:
●数据迁移过程中目标存储对服务器主机的存储映射工作。
●数据迁移过程中在服务器上创建对应的文件系统的工作。
●数据初始同步工作。
●数据增量迁移与磁盘配置工作。
●协助用户完成数据迁移后数据的验证工作。
在整个数据迁移过程中,XX工程师不负责以下内容,以下工作内容需要由用户协调解决:
●业务系统数据的备份工作。
●业务系统的启动、停止工作。
●数据迁移过程中对用户业务系统光纤交换机、以太网交换机的配置工作。
3.3基于虚拟化平台的数据迁移方案
3.3.1数据迁移方案架构图
3.3.2数据迁移工作原理
虚拟化平台下的虚拟机迁移与存储数据迁移,一般都可以采用虚拟化平台自带的功能进行实现,如VMware下的VMotion与StorageVMotion;CitrixXenServer的XenMotion和StorageXenMotion;Hyper-VV3版本下的LiveMigrate和存储迁移功能都实现了虚拟机与异构存储数据的迁移处理。
不同的虚拟化平台或同一虚拟化平台的不同版本对存储数据迁移的功能实现不同,导致部分虚拟化平台版本支持在线的数据迁移,而另一部分虚拟化平台版本支持离线迁移或者没有存储迁移功能。
虚拟化平台自带的迁移功能受平台版本与License限制,其它限制条件请参阅本节的技术限制。
3.3.3迁移步骤
步骤1迁移前准备,完成目标存储的组装与配置,并根据待迁移的数据量与客户需求完成目标LUN的创建,此时的I/O路径为“服务器主机—源存储”。
步骤2接入目标存储,建立目标存储对服务器的映射,实现虚拟化平台对源存储与目标存储的同时访问,具体操作包括:
1目标存储接入业务网络2目标存储上添加LUN到服务器的映射3虚拟化平台进行相关配置,实现对目标存储的访问
步骤3采用虚拟化平台自带的存储迁移功能进行存储数据的迁移。
迁移时长可按60MB/s进行评估,现网实际操作中,由于客户网络环境不同,该速率可能会有变动。
步骤4迁移完成后测试业务或者集群运行是否正常。
3.3.4方案特点
●虚拟化平台提供的存储迁移功能可以实现满足平台兼容性的不同存储间的数据迁移处理。
●部分虚拟化平台支持存储的在线迁移功能。
●目标存储接入简单,对原有组网拓扑结构影响较小。
●同时虚拟化平台大多提供了图形化的管理界面,操作简单,图形直观,大大提升了数据迁移效率。
3.3.5数据迁移时间估算
虚拟化平台的存储迁移操作主要分为两个部分进行,第一个部分是满足兼容性的目标存储接入与相关配置操作;第二个部分是存储数据的迁移操作,即将源存储数据通过虚拟机平台提供的相关迁移功能迁移到目标存储上去。
迁移时间估算方法:
●迁移前准备:
此步骤包括目标存储的组装与配置,并依据迁移的数据量与客户需求,完成目标存储系统上LUN的创建等操作,待以上操作完成后,将目标存储系统接入业务网络。
●存储数据迁移:
此步骤按5分钟/LUN的操作时间+迁移时间(容量/60MB/s)进行估算,例如5个LUN,数量共1TB,则此步骤耗时为5*5分钟/60+1TB/60MB/s/3600=5.05小时。
此处的存储数据迁移特指采用虚拟化平台自带存储迁移功能进行的操作。
因此,以某一个虚拟化平台下存储迁移为例,计算其迁移耗时如下:
例1:
客户一套系统需搬迁的LUN原始裸容量(LUN的总容量)为20TB,一共有5个LUN,则阶段时间如下:
目标存储接入(在线):
1小时+5*5分钟/60=1.42小时
存储数据迁移(在线/离线):
20TB/60MB/s/3600+5*5分钟/60=93.02小时
总共迁移时间:
1.42+93.02=94.44小时
3.3.6使用建议
●虚拟化平台下存储数据迁移首选方案。
●是否在线迁移或者离线迁移,依据不同的虚拟化平台及版本对于存储迁移功能而定。
3.3.7技术限制
源存储的限制
●N/A
目标存储的限制
●目标存储必须满足与虚拟化平台的兼容性要求。
●替代阵列的容量≥原阵列的容量
光纤交换机的限制
●光纤交换机有足够的空余端口目标存储的接入使用,具体需要端口数与组网方式强相关。
服务器的限制
●当含有虚拟机的迁移时,要求源主机与目标主机的CPU型号兼容
●当含有虚拟机的迁移时,是否需要共享存储,依据不同的虚拟化平台与版本而定
●当含有虚拟机的迁移时,要迁移的虚拟机不能连上只有自己才能识别的设备,如CD-ROM,软盘等
●VMware虚拟化平台的存储迁移常见规格限制汇总
VMware虚拟化平台
版本
StorageVMotion并行数
RDM
快照
数据存储扩容
LUN/单个主机
LUN容量
4.0
2/perhost;
8/perdatastore
●
只迁移映射文件,不迁移数据
离线迁移
●2最多32个LUN,数据存储容量不超过64TB
256
●
最大2TB
4.1
5.0
●V能将RDM磁盘数据迁移成VMDK磁盘数据
●支在线迁移
●6最大64TB
5.1
5.5
●Hyper-VV3版本提供了存储迁移功能,V1和V2版本只支持虚拟机迁移
3.3.8选择此方案的优选场景
●虚拟化平台下的存储更替
3.3.9责任界面
在整个数据迁移过程中,XX工程师负责以下内容:
●XX存储的配置与管理工作。
●数据迁移过程中的数据复制工作。
●协助用户完成数据迁移后数据的验证工作。
在整个数据迁移过程中,XX工程师不负责以下内容,以下工作内容需要由用户协调解决:
●业务系统数据的备份工作。
●业务系统的启动、停止工作。
●源存储阵列的配置与操作工作。
数据迁移过程中对用户业务系统光纤交换机、以太网交换机的配置工作。
3.4基于网络功能(VIS)的数据迁移方案
3.4.1数据迁移方案架构图
3.4.2数据迁移工作原理
基于网络功能的VIS迁移方案可以在不同厂商的存储阵列产品之间进行数据迁移。
VIS在迁移的初始阶段对源存储上的数据卷进行接管,将源存储的LUN在确保数据不丢失的情况下初始化为VIS可以管理的虚拟卷。
利用VIS提供的镜像功能,使得数据在源存储和目标存储之前进行快速的迁移,存储接管过程中需短暂中断业务,数据复制过程中可保持业务在线运行。
3.4.3迁移步骤
步骤1迁移前,I/O路径为“服务器主机—源存储”。
步骤2将VIS加入客户的应用系统中。
连接方式由“服务器主机—源存储”方式改为“服务器主机—VIS—源存储”。
在原始数据阵列上将所属服务器主机的LUN分配给VIS,再由VIS分配给服务器主机。
此操作需要中断客户业务系统,此步骤的中断时间长度可以按照每个标准系统(双机集群单阵列)2小时+15分钟/LUN的时间估算,具体包括:
1物理链路连接2光纤交换机划zone3源存储上删除LUN到服务器的映射4源存储上添加LUN到VIS的映射5VIS上扫描发现源存储映射的LUN6VIS上根据业务系统建立磁盘和磁盘组7VIS上根据磁盘建立对应的卷8VIS上建立主机组和主机,添加服务器WWN9VIS添加卷到源服务器的映射10服务器上发现VIS映射的卷
此步骤的中断时间长度可以按照每个标准系统(双机集群单阵列)2小时+15分钟/LUN的时间估算。
例如一个双机业务系统有5个LUN则此步骤中断时间为2小时+5*15分钟=3.25小时。
此时间为售前阶段需申明的时间,实际操作可能短于此估算时间。
步骤3当VIS加入客户业务系统后,客户业务系统可重新启动正常工作。
将数据迁移目标阵列和VIS进行连接,将计划分配给服务器主机的LUN分配给VIS系统。
步骤4在VIS系统中对源数据阵列和数据迁移目标阵列之间进行镜像操作。
步骤5确认阵列间数据镜像完成后,断开源数据阵列与VIS的逻辑连接,由数据迁移目标阵列通过VIS对业务系统提供存储空间。
步骤6停止客户业务,将数据迁移目标阵列与服务器连接。
连接方式由“服务器主机—VIS—目标存储”还
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- XX 数据 迁移 服务 技术 建议书