云存储系统搭建指导手册713升级版.docx
- 文档编号:10444741
- 上传时间:2023-05-25
- 格式:DOCX
- 页数:39
- 大小:3.84MB
云存储系统搭建指导手册713升级版.docx
《云存储系统搭建指导手册713升级版.docx》由会员分享,可在线阅读,更多相关《云存储系统搭建指导手册713升级版.docx(39页珍藏版)》请在冰点文库上搜索。
云存储系统搭建指导手册713升级版
CentOS6.7云存储系统安装说明书
第1章云存储节点系统安装
1.选择“Installsystemwithbasicvideodriver”,点击Enter。
如图表1:
图表1
2.
选择“Skip”,跳过检查。
按“Tab”键,可以在“Ok”“Skip”之间切换。
点击Enter。
如图表2
图表2
3.点击“下一步”。
如图表3:
图表3
4.选择简体中文,点击“Next”。
如图表4:
图表4
5.选择“美国英语”,点击“下一步”。
如图表5:
图表5
6.选择“基础存储设备”,点击“下一步”。
如图表6:
图表6
7.选择“全新安装”,点击“下一步”。
8.输入主机名,例如“Easy7”(可以不输入,脚本会自动提示添加)
图表7
9.
选择时区,点击“下一步”。
图表8
10.输入根账号密码,点击“下一步”。
如图表9:
图表9
11.
如出现下图,请根据提示选择。
如图表10:
图表10
12.选择“使用所有空间”,点击“下一步”。
如图表11:
图表11
13.
选中用于安装系统的特定硬盘,并将其从左侧移到右侧,选中并点击进行下一步。
图表14
14.双击“lv_root”(挂载点为“/”)这一行,如下图。
图表12
15.调整挂载点“/”的空间大小,最小值为102400(MB)。
若剩余空间不足,则从挂载点“/home”空间大小中调整出剩余空间,加到挂载点“/”下,使其满足100GB(即102400MB)大小。
当系统盘较大时,例如系统盘为500GB(或更大),建议将系统盘的2/3空间分配给挂载点“/”。
图表13
16.请确保“引导装载程序”安装在正确的硬盘上。
点击“更换设备”可以选择“引导装载程序”的安装位置。
如下图:
图表15
修改步骤:
点击“更换设备”后,刚开始看到的或许是这样,请选择“主引导记录(MBR)”:
进入“BIOS驱动器顺序”,第一BIOS驱动器选择硬盘
这时“主引导记录MBR”变成了下面:
点击确定“更换设备”完成。
17.选择“现在自定义”,点击“下一步”。
如下图:
图表16
18.
左栏里有“基本系统”,“服务器”,“Web服务”,“数据库”,“系统管理”,“虚拟化”,“桌面”,“应用程序”,“开发”,“语言支持”等选项,请按照以下进行选择:
(1)“数据库”、“虚拟化”两项所有条目都要不勾选;
(2)“桌面”项中勾选“KDE桌面”外的所有项;
(3)“语言支持”只选中文即可;
(4)其余各项均全部选择;
提示:
右栏支持多选,点击第一行后,按住shift键,点击最后一行,全部选中后,单击右键,点击“选择所有可选软件包”,如下图:
图表17
19.
开始安装。
这个过程会消耗一段时间。
20.安装完毕,点击“重新引导”,然后会重启系统。
如下图
图表18
21.
点击“前进”。
如下图
图表19
22.选择“是,我同意该许可证协议”,点击“前进”。
如下图
图表20
23.创建一组用户名和密码(创建admin用户及密码,方便自动配置脚本修改admin用户访问权限),添加完成admin用户完成后,点击“前进”。
如下图
图表21
24.设置日期和时间,点击“前进”。
如下图
图表22
25.选择不启用,点击“完成”。
系统安装完成,之后系统会重启。
如下图
图表23
第2章系统设置
1.系统启动后,点击“其他”,输入“root”,回车后输入密码(密码是之前设置的“根账户密码”),进入系统。
如下图:
图表24
图表25
2.进入系统后,右键打开终端。
如下图:
图表26
3.输入“setup”命令,选择“防火墙配置”,点击Enter。
如下图:
。
图表27
4.
不启用防火墙(即去掉*)。
用Tab键把光标切换到“确定”,点击Enter。
如下图:
图表28
5.接下来选择“是”。
如下图:
图表29
6.之后,回到配置主界面,选择“系统服务”,点击Enter。
如下图:
图表30
7.利用空格键,取消“NetworkManager”,“ip6tables”和“iptables”选项前的“*”,用Tab键把光标切换到“确定”,点击“Enter”,再切换到“退出”,点击“Enter”,回到终端。
如下图:
图表31
8.将“auto_config.zip”导出,并放到云存服务器中,unzipauto_config.zip,chmod+x*.sh,然后./auto_config_for_cloud.sh,按提示进行配置。
9.安装CentOS6.7的64位补丁包。
注:
64位系统在完成以上步骤后需要安装补丁包,补丁包共有两种。
补丁包名称分别为“centos-6.7-64bit-update.zip(平台中间件服务器专用,适用包括基础、智慧、政法等总控和流媒体以及云存储)”和“centos-6.7-64bit-update-TDR.zip(适用智慧6.7系统TDR)”,md5值分别为“77281713997a82720906d748f5077375”和“a3a4f4d6f5fd6020986857cdaf5de320”,使用时直接解压并赋予777权限,最后一键执行update.sh。
10.安装集群ceph软件(所有云存储节点都需要安装)
1、把安装包setup_ceph.bin放入服务器
2、赋予执行权限
chmod+xsetup_ceph.bin
3、执行
./setup_ceph.bin
4、正在安装
5、加密服务随集群自动安装,并启动
11.安装集群调度软件zookeeper(只需主节点主机进行此项配置)
1将setup_zookeeper.bin拷贝到需要安装的服务器上,通过chmod+xsetup_zookeeper.bin命令设置可执行权限,使用./setup_zookeeper.bin命令进行安装。
2在接下来的提示中输入2回车进行安装
3按提示输入准备安装Zookeeper服务器的数量,输入3回车
4接下来按照提示依次输入需要安装的Zookeeper服务器IP地址和root用户密码,要求需要安装Zookeeper服务的服务器必须网络连接畅通。
5然后按照提示继续输入第2个、第3个Zookeeper服务器IP和root密码
6最终安装完毕后会出现如下服务启动成功的提示
12.在集群管理节点服务器部署集群运维管理平台,将Easy7_集群运维管理模块_V7.12T.zip放入主节点服务器,解压,执行setup_for_ECM.sh文件。
安装成功后登录http:
//主节点IP:
7000/ECM,部署集群运维管理平台,进入集群节点配置界面
13.添加主机(将所有云存储节点主机全部添加)
点击添加按钮弹出添加界面如下。
名称随意填写,ip写主机实际的ip地址,正确填写该主机的root密码和admin密码。
另外如果首次创建集群需要勾选创建配置,否则不勾选。
14.设置主机盘位,打开集群配置,系统设置标签
主机盘位默认为24盘,请根据现场实际情况设置。
盘位以每台主机的存储硬盘数量为准,尽量保持每台机器的盘数一致,如果不一致,这里填写盘数平均值即可。
15.Monitor配置
点击monitor配置,勾选已经添加好的主机点击设置monitor,即可创建集群。
Monitor数量需要遵循奇数原则,即monitor总数只能是3、5、7等奇数个。
备注:
如果出现monitor是“否”的情况,很有可能是在设置系统项时有所疏漏,建议按照前面的步骤检查重新设置
16.OSD配置
点击osd配置,界面如下,可以读取出集群机器上所有的硬盘以及osd状态,选择若干个硬盘,点击“设置为osd”即可。
17.存储池配置
进入存储池配置,点击添加新建存储池:
需要新建两个副本池和一个纠删池;
1策略目标推荐选择主机模式;
2存储块和校验块的数值设置依据具体情况而定;
3副本池PG数量设置为200,纠删池PG数量根据集群osd总量而定。
(少于5个OSD时可把PG数设置为128;OSD数量在5到10个时,可把PG数设置为512;OSD数量在10到50个时,可把PG数设置为4096;OSD数量大于50个时,可把PG数设置为8192)
4存储池名字推荐使用cmd,多个存储池可以共用同一个名字;支持任意设置。
Easy7平台使用的3个存储池默认名称为:
两个副本池(cmd_opool、cmd_pool,pg数量默认为200)和一个纠删池(cmd_ecpool,pg数默认为8192)
18.存储块配置
注意:
有的现场会用到存储块,这里创建的块为rbd-fuse方式,如果现场压力要求比较大时,请部署map方式(详见附录A),map方式暂不支持平台方式部署。
rbd-fuse平台添加方式,添加块的时候,所属池选择前面添加的存储池,池子类型为纠删池时需要指定对应副本池,因为块必须依赖副本池才能存在。
具体使用就删池还是副本池,请根据现场实际需要配置,副本池与就删池相比,利用率不同,以3台存储服务器,1+1=2副本为例,副本池的利用率为1/2,而就删池采用纠删码2+1,利用率为1/3。
注意,存储池选择时请尽量不要使用Easy7平台使用的3个存储池(默认为cmd_opool、cmd_pool、cmd_ecpool)
映射盘符为dev下虚拟盘符,挂载路径为实际使用路径,请根据实际需要填写。
以下图为示例,使用时请根据实际情况选择和填写。
19.NTP校时设置
点击NTP校时设置,界面如下,勾选“启用NTP校时”,然后填写校时服务器ip,点击确认即可。
20.扩容配置。
集群已经建立的情况下,想向集群中增加一台主机作为存储,请按照如下操作进行。
A、按照前述系统安装和配置,将系统和基础配置配置完成,然后安装对应软件。
参照20步(含)之前的操作。
B、在节点配置页将新准备的主机添加到系统
C、到osd配置中,按照osd添加步骤,添加osd。
D、Monitor配置一般不需要更改,如果更改可以到monitor配置页进行配置,但要保证最终的monitor总数为奇数个。
注意:
扩容后,池子的策略不会自动更改,将继续按照以前的策略进行。
21.云调度节点配置(直存方式,流媒体在云存储内;转存方式,流媒体为专有外部服务器。
以下配置说明为直存方式,集群服务器安装流媒体时,主节点不运行.sh文件及lammp文件,从节点正常安装流媒体软件。
)
1、云节点需要登录中间件服务器,在本机设置中将服务器类型选择“智慧云”,并填写“ZooKeeper“信息,点击确定后完成ZooKeeper配置,此时页面会自动刷新。
(假设云存储有N节点,则N台服务器中间件都需要配置)
2、配置完ZooKeeper信息后点击确定页面刷新后,再次点击本机设置中的【云配置】进行云服务器配置:
云服务ID由调试人员设置,设置原则与中间件ID设置原则一致,不要和整个Easy7系统中其他任何设备ID冲突即可;云服务IP选择为整个云存储系统的虚拟IP,选择网段内的一个空闲IP即可;云服务端口默认9001,不建议修改;
22.云调度连接存储集群
使用ssh连接到集群存储节点上,将etc/ceph目录里面的ceph.conf、ceph.client.admin.keyring两个文件拷贝到桌面。
修改ceph.conf文件,在[global]下增加下面三行:
rados_mon_op_timeout=10
rados_osd_op_timeout=10
keyring=ceph.client.admin.keyring
如下图所示:
保存后将这两个文件覆盖到每个云调度节点的x1目录下。
若创建池子时未使用cmd作为存储池名称,需要修改各个云调度节点的x1目录下的config.json文件,将对应池子名称修改到该文件中,如下图所示:
23.平台配置
1、添加智慧云服务器
登录Easy7平台,在设备管理中添加“智慧云”服务器,服务器ID和IP与云调度节点中的云服务ID、IP和端口号保持一致;(端口9001)
2、平台集群配置
编辑已经添加成功的智慧云服务器,在集群配置中依次添加各个云调度节点信息,此处ID、IP和端口号与各个云调度节点保持一致。
(有几个云节点添加几个)
3、总控中间件—主动连接中添加新条目—虚拟云ID、IP、端口号,总控平台上下传路由,智慧云服务器和总控下传设置。
至此云存储系统搭建完毕。
附录A:
加密狗出错检测及解决办法
检测:
在IE打开网址
查看ret值,若为0,则出错
解决方案:
在每个云节点执行命令serviceclusterverifyrestart,然后再进入到上边的网址,查看ret值,为1则正确,修改成功。
附录B:
块存储map方式部署
1、CEPH客户端环境搭建
1.1升级系统内核
1、把内核升级包放到/root/setup目录下(没有的话可以新建)
kernel-ml-4.8.12-1.el6.elrepo.x86_64.rpm
kernel-ml-devel-4.8.12-1.el6.elrepo.x86_64.rpm
2、赋权限
chmod+xkernel-ml-4.8.12-1.el6.elrepo.x86_64.rpm
chmod+xkernel-ml-devel-4.8.12-1.el6.elrepo.x86_64.rpm
3、执行安装
rpm–ivhkernel-ml-4.8.12-1.el6.elrepo.x86_64.rpm
rpm–ivhkernel-ml-devel-4.8.12-1.el6.elrepo.x86_64.rpm
执行安装成功后,修改/etc/grub.conf(先做好备份)中default为0,即为升级后内核对应的位置。
修改后,重启系统。
1.2系统配置
1.2.1主机名配置
a修改主机名
hostnamenode-xxx
b修改配置文件/etc/sysconfig/network
[root@node-xxx~]#vim/etc/sysconfig/network
修改HOTNAME=node-xxx
xxx为当前主机名,例如mon1等,建议与实际用途相关联。
c添加用于集群管理的admin用户
[root@node-xxx~]#useradd-d/home/admin-madmin
d设置admin用户密码
[root@node-xxx~]#passwdadmin
之后输入密码
e设置root权限
[root@node-xxx~]#echo"adminALL=(root)NOPASSWD:
ALL"|tee/etc/sudoers.d/admin
[root@node-xxx~]#chmod0440/etc/sudoers.d/admin
1.2.2提高系统I/O读写速度
echo"100">/proc/sys/vm/dirty_writeback_centisecs
echo"100">/proc/sys/vm/dirty_expire_centisecs
即时生效,但是重启后无效,所以同时修改下列配置
vi/etc/sysctl.conf
vm.dirty_writeback_centisecs=100
vm.dirty_expire_centisecs=100
修改完毕后保存。
然后执行
sysctl–p
生效
1.3ceph客户端安装
1、把安装包setup_ceph.bin放到服务器/root/setup目录下
2、赋权
chmod+xsetup_ceph.bin
3、执行
./setup_ceph.bin
4、正在安装
5、加密服务随集群自动安装,并启动
6、从云存储集群monitor节点拷贝配置信息和key到ceph客户端
将ceph.client.admin.keyring和ceph.conf拷贝到ceph客户端/etc/ceph目录下
2、块的创建
2.1创建存储池
A、注意:
块存储不支持直接在纠删池中创建,如果要使用纠删池,需要设置分级缓存,步骤如下
1、创建纠删池pool_name:
存储池名pg_num:
pg数量
cephosdpoolcreatepool_namepg_numpg_numerasure
(cephosdpoolcreatessn_ecpool20482048erasure)
2、创建副本池storage:
副本池名称
cephosdpoolcreatestoragepg_num
(cephosdpoolcreatessn_pool200)
3、创建缓存层
cephosdtieraddpool_namestorage
(cephosdtieraddssn_ecpoolssn_pool)
4、设置缓存模式
cephosdtiercache-modestoragewriteback
(cephosdtiercache-modessn_poolwriteback)
5、把所有客户端流量从存储池迁移到缓存存储池
cephosdtierset-overlaypool_namestorage
(cephosdtierset-overlayssn_ecpoolssn_pool)
说明:
以上绿色部分根据实际情况进行输入
B、如果不使用纠删池直接创建副本池即可
Cephosdpoolcreatepool_namepg_num
(cephosdpoolcreatefoo_pool200)
2.2创建rbd块
//foo_size:
块大小foo_name:
块名称--size单位是MB
rbd--poolpool_namecreate--sizefoo_sizefoo_name
(rbd--poolfoo_ecpoolcreate--sizefoo_block)
2.3以map的方式挂载块
//pool_name:
存储池名foo_name块名称
1、sudorbdmappool_name/foo_name--idadmin//用rbd把映像名映射为内核模块。
必须指定映像名、存储池名、和用户名。
若RBD内核模块尚未加载,rbd命令会自动加载。
//rbdnum执行步骤1完会提示关联到那个rbdnum,写成相应值即可
2、mkfs.ext4-Tlarge/dev/rbd0格式化块
//mount_path要把块挂载到的目录名称
3、mount-text4/dev/rbd0mount_path挂载
2.4开机绑定
//TODO暂未实现
2.5删除块
umountmount_path
rbdunmap/dev/rbdnum
rbdrmpool_name/foo_name
2.6拆除缓存层(回写模式)
//把缓存模式改为forward,这样新的和更改过的对象将直接刷回到后端存储池
cephosdtiercache-modestorageforward
//去除此盖子,这样客户端就不会被指到缓存了
cephosdtierremove-overlaypool_name
//从后端存储池剥离缓存层存储池
cephosdtierremovepool_namestorage
附录C:
root目录动态扩容
1、查看磁盘使用情况
注:
/dev/mapper/vg-ids-LogVo100为根分区
/dev/mapper/vg_ids-LogVo101为home分区
2、卸载/home目录
使用root权限操作:
umount/home
注:
umount/home如果提示无法卸载,则是有进程占用/home,使用如下命令:
fuser-m/home
再使用kill-92408(进程号)命令杀掉进程。
然后再执行umount/home即可。
3、调整home分区大小
resize2fs-p/dev/mapper/vg_ids-LogVol015G这里是将home分区大小调整为5G
如果提示运行“e2fsck-f/dev/mapper/VolGroup-lv_home”,则执行相关命令:
e2fsck-f/dev/mapper/vg_ids-LogVol01
然后重新执行命令:
resize2fs-p/dev/mapper/vg_ids-LogVol015G
注:
resize2fs为重新设定磁盘大小
4、挂载上/home,查看磁盘使用情况
5、设置空闲空间
使用lvreduce指令用于减少LVM逻辑卷占用的空间大小。
lvreduce-L5G/dev/mapper/vg_ids-LogVol01
注:
lvreduce-L200G的意思为设置当前文件系统为200G,如果lvreduce-l200G是指从当前文件系统上减少200G
使用lvreduce减小逻辑卷的大小。
注意:
减少后的大小不能小于文件的大小,否则会丢失数据。
6、把闲置空间挂在根目录下
(1)先用vgdisplay命令查看那可以操作的大小
[root@IDS~]#vgdisplay
---Volumegroup---
VGNamevg_ids
SystemID
Formatlvm2
MetadataAreas1
MetadataSequenceNo4
VGAccessread/write
VGStatusresizable
MAXLV0
CurLV2
OpenLV2
MaxPV0
CurPV1
ActPV1
VGSize30.00GiB
PESize4.00MiB
TotalPE7679
AllocPE/Size5120/20.00GiB
FreePE/Size2559/10.00GiB#这一行就是空闲空间的大小,一会都分给根分区。
VGUUIDMVSVQh-J5Hq-QjkJ-uHLi-sgMJ-qRmF-fMKjDV
(2)lvextend-L+10236MiB/dev/mapper/vg_ids-LogVol00#扩展根分区,给根分区增加10236MB的空间。
注:
10236根据2559(空闲PE数)*4(PE大小)求出。
(3)resize2fs-p/dev/mapper/vg_id
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 存储系统 搭建 指导 手册 713 升级
![提示](https://static.bingdoc.com/images/bang_tan.gif)