MFS完全安装手册.docx
- 文档编号:9643174
- 上传时间:2023-05-20
- 格式:DOCX
- 页数:12
- 大小:20.85KB
MFS完全安装手册.docx
《MFS完全安装手册.docx》由会员分享,可在线阅读,更多相关《MFS完全安装手册.docx(12页珍藏版)》请在冰点文库上搜索。
MFS完全安装手册
MFS完全安装手册免费下载
陈轶博
2010.7.7
目录
1.MooseFS文件系统概述3
1.1.MooseFS文件系统的组成3
2.安装步骤4
2.1.建议安装环境4
2.2.元数据Master服务器的安装4
2.2.1.configure的部分参数4
2.2.2.安装4
2.2.3.配置5
2.2.4.元数据服务器master启动5
2.2.5.关闭和重启元数据服务器6
2.2.6.查看元数据服务器的状态6
2.2.7.启动和停止WebGUI6
2.3.数据存储chunkserver服务器的安装6
2.3.1.安装6
2.3.2.配置7
2.3.3.存储服务器chunkserver启动8
2.3.4.关闭存储服务器8
2.3.5.重启存储服务器8
2.3.6.检查运行状态8
2.4.客户端Clinet的安装及配置8
2.4.1.Fuse的安装:
8
2.4.2.MooseFS客户端的安装9
2.4.3.挂接和使用MooseFS文件系统9
2.4.4.卸载挂载点9
2.5.元数据备份服务器metalogger的安装10
2.5.1.元数据服务器metalogger的安装10
2.5.2.Metalogger的配置10
3.管理命令10
4.MooseFSmaster恢复11
1.MooseFS文件系统概述
1.1.MooseFS文件系统的组成
◆元数据服务器。
在整个体系中负责管理管理文件系统,目前MooseFS只支持一个元数据服务器master,这是一个单点故障,需要一个性能稳定的服务器来充当。
希望今后MooseFS能支持多个master服务器,进一步提高系统的可靠性。
◆数据存储服务器chunkserver。
真正存储用户数据的服务器。
存储文件时,首先把文件分成块,然后这些块在数据服务器chunkserver之间复制(复制份数可以手工指定,建议设置副本数为3)。
数据服务器可以是多个,并且数量越多,可使用的“磁盘空间”越大,可靠性也越高。
◆客户端。
使用MooseFS文件系统来存储和访问的主机称为MooseFS的客户端,成功挂接MooseFS文件系统以后,就可以像以前使用NFS一样共享这个虚拟性的存储了。
元数据服务器安装和配置元数据服务器可以是linux,也可以是unix,你可以根据自己的使用习惯选择操作系统,GNU源码,在各种类unix平台的安装都基本一致。
2.安装步骤
2.1.建议安装环境
MasterServer1台(CPU与写性能有关、内存与文件数有关。
)
ChunkServer至少1台(数量和带宽与读性能有关)
client1台
推荐操作系统:
CentOS5.4X64
2.2.元数据Master服务器的安装
2.2.1.configure的部分参数
对于./configure比较有意义的参数如下:
·--disable-mfsmaster–不创建master,一般在非master服务器下用
·--disable-mfschunkserver–不创建chunkserver,一般在非chunkserver服务器下用
·--disable-mfsmount–不创建mfsmount和mfstools(如果fuse包已安装那么这两个工具默认将被创建)
·--enable-mfsmount–创建mfsmount和mfstools(如果fuse未装则无法创建这两个工具)
·--prefix=DIRECTORY–安装的路径(默认为/usr/local)
·--sysconfdir=DIRECTORY–配置文件的安装路径(默认${prefix}/etc)
·--localstatedir=DIRECTORY-选择状态数据安装路径(默认是${prefix}/var;MFS元数据将被存储于mfs子目录中,比如默认是${prefix}/var/mfs)
·--with-default-user=USER–运行进程的用户名(默认是nobody)
·--with-default-group=GROUP–运行进程的组名(默认是nogroup)
2.2.2.安装
解包:
$tarzxvfmfs-1.6.13.tar.gz
切换目录:
$cdmfs-1.6.13
创建用户:
$useraddmfs–s/sbin/nologin
配置:
$./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs
编译:
$make
安装:
$makeinstall
2.2.3.配置
cd/usr/local/mfs/etc/
cpmfsmaster.cfg.distmfsmaster.cfg
cpmfsexports.cfg.distmfsexports.cfg
vimmfsmaster.cfg
vimmfsexports.cfg
cd..
cdvar/
mfs/
cpmetadata.mfs.emptymetadata.mfs
catmetadata.mfs
元数据服务器的配置文件是mfsmaster.cfg,文件的位置在/usr/local/mfs/etc/mfsmaster.cfg
打开这个配置文件,可以看到一些设定值。
尽管每行都被注释掉了,但它们却是配置文件的默认值,要改变这些值,需要取消注释,然后明确指定其取值。
这个配置文件,不必做修改就能工作了。
接下来说明一下其中一些项目的含义。
●LOCK_FILE=/var/run/mfs/mfsmaster.pid文件锁所在的位置,它的功能是避免启动多次启动同一个守护进程。
●由于系统中本来不存在目录/var/run/mfs,因此需要手动创建mkdir/var/run/mfs,然后更改其属主chown–Rmfs:
mfs/var/run/mfs。
这样MFS服务就能对这个目录有创建/写入mfsmaster.pid文件的权限了。
●DATA_PATH=/usr/local/mfs/var/mfs数据存放路径,只元数据的存放路径。
●MATOCS_LISTEN_PORT=9420即元数据服务器使用9420这个监听端口来接受数据存储服务器chunkserver端的连接。
●MATOCU_LISTEN_PORT=9421元数据服务器在9421端口监听,用以接受客户端对MooseFS进行远程挂接(客户端以mfsmount挂接MFS)
●其他部分看字面意思都不难理解。
还有几个与时间有关的数值,其单位是秒。
2.2.4.元数据服务器master启动
元数据服务器可以单独启动,即使没有任何数据存储服务器(chunkserver)也是能正常工作的,因此当我们安装配置完MooseFS后,即可启动它。
执行命令:
$/usr/local/mfs/sbin/mfsmasterstart
如果没有意外,元数据库服务器就应该作为一个守护进程运行起来。
2.2.5.关闭和重启元数据服务器
当我们需要中止元数据服务器服务时:
$/usr/local/mfs/sbin/mfsmasterstop或者$/usr/local/mfs/sbin/mfsmaster–s
当需要重启服务时:
$/usr/local/mfs/sbin/mfsmasterrestart
2.2.6.查看元数据服务器的状态
现在我们可以通过3个方面来检查一下MFSmaster的运行状况:
1、检查进程
$psaux|grepmfsmaster|grep-vgrep
2、检查网络状态
$netstat--inet-an
3、检查系统日志
$tail-f/var/log/messages
MooseFS的日志会直接写入系统日志。
当我们增加数据存储服务器(chunkserver)或数据存储服务器(chunkserver)发生故障时,都能在系统日志找到这些记录。
注意:
这个日志跟元数据变化日志不是一回事情。
2.2.7.启动和停止WebGUI
启动:
$/usr/local/mfs/sbin/mfscgiserv
停止:
$kill/usr/local/mfs/sbin/mfscgiserv
在浏览器地址栏中输入:
http:
//master-ip-address:
9425
就可以通过通过UI界面来查看MooseFS系统的状态
2.3.数据存储chunkserver服务器的安装
2.3.1.安装
一个MooseFS环境到底能集群多少服务器,作者的说法是上PB容量,个人建议,最好3台以上;并且专门用来做存储,不要把它跟master搞到一个机器(理论上没问题,实现也是可以的,但这不是一个好策略)。
因为每个数据存储服务器的安装和配置都是相同的,所以只需按照一个服务器的操作就可以了。
解包$tarzxvfmfs-1.6.13.tar.gz
切换目录$cdmfs-1.6.13.tar.gz
创建用户$useraddmfs–s/sbin/nologin
配置
$./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs
编译安装$make;$makeinstall
2.3.2.配置
cd/usr/local/mfs/etc/
cpmfschunkserver.cfg.distmfschunkserver.cfg
cpmfshdd.cfg.distmfshdd.cfg
数据存储服务器有2个配置服务器需要修改,一个是主配置文件mfschunkserver.cfg,另一个配置文件是mfshdd.cfg。
每个服务器用来分配给MooseFS使用的空间最好是一个单独的硬盘或者一个raid卷,最低要求是一个分区。
1、修改配置文件/usr/local/mfs/etc/mfschunkserver.cfg
将其中的两项去掉前面的注释符号“#”:
MASTER_HOST=10.1.1.1
MASTER_PORT=9420
接下来是这个配置文件里面某些项的含义说明:
◆ MASTER_HOST=192.168.0.19元数据服务器的名称或地址,可以是主机名,也可以是ip地址,只要数据存储服务器能访问到元数据服务器就行。
◆ LOCK_FILE=/var/run/mfs/mfschunkserver.pid与元数据服务器master的处理完全相同.
◆ CSSERV_LISTEN_PORT=9422这个监听端口用于与其它数据存储服务器间的连接,通常是数据复制。
◆ HDD_CONF_FILENAME=/usr/local/mfs/etc/mfshdd.cfg分配给MooseFS使用的磁盘空间配置文件的位置。
2、修改配置文件/usr/local/mfs/etc/mfshdd.cfg
在实验环境里,我是将除了swap以外的所有空间都分在了/目录下,在/下建立一个data目录做为挂载点。
为了使MooseFS拥有写目录的权限,需要修改目录的属主。
●用chown–Rmfs:
mfs/data把属主改变。
●因为只有一个分区做MooseFS,因此配置文件只需要如下一行内容就可以了:
/data
这个文件默认有好几行,最好把他们删除,因为常规情况用注释符号“#”好像不起作用。
2.3.3.存储服务器chunkserver启动
在数据存储服务器执行:
$/usr/local/mfs/sbin/mfschunkserverstart启动数据存储守护进程
2.3.4.关闭存储服务器
$/usr/local/mfs/sbin/mfschunkserverstop或者
$/usr/local/mfs/sbin/mfschunkserver–s
2.3.5.重启存储服务器
$/usr/local/mfs/sbin/mfschunkserverrestart
2.3.6.检查运行状态
通过以下几种方式检查运行状态
●查看进程
$psaux|grepmfschunkserver
●查看网络状态,正常情况下应该能看见9422端口处于监听状态,如果有其他数据存储服务器chunkserver在同一元数据服务器master管理下运行的话,应该能看见其他chunkserver跟本机的连接情况:
$netstat-an|grep9422|grepEST
●查看元数据服务器的系统日志,可以看见新增的数据存储服务器chunkserver被加入。
$tail-f/var/log/messages
2.4.客户端Clinet的安装及配置
MooseFS客户端的服务mfsmount需要依赖FUSE,因此需要先安装好fuse。
2.4.1.Fuse的安装:
如果客户端可以登陆Internet网,可以如下安装,会自动寻找合适的fuse版本:
如果客户端不可以登陆Internet网,则需要下载安装包,按照如下步骤安装
1、解包$tarzxvffuse-2.7.4.tar.gz
2、切换目录$cdfuse-2.7.4.
3、配置 $./configure
4、编译安装 $make;makeinstall
如果是Ubuntu,需要安装libfuse-dev,zlib1g-dev
2.4.2.MooseFS客户端的安装
1、修改环境变量文件/etc/profile,追加下面的行,然后再执行命令source/etc/profile使修改生效。
$exportPKG_CONFIG_PATH=/usr/local/lib/pkgconfig:
$PKG_CONFIG_PATH
如果不执行这个操作,在后面安装MooseFS的过程中,执行命令
./configure--enable-mfsmount时可能出现
"checkingforFUSE...noconfigure:
error:
mfsmountbuildwasforced,butfusedevelopmentpackageisnotinstalled"
这样的错误,而不能正确安装MooseFS客户端程序。
2、$tarzxvfmfs-1.6.13.tar.gz
3、$cdmfs-1.6.13.tar.gz
4、$useraddmfs-s/sbin/nologin
5、$./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs--enable-mfsmount
6、$make;makeinstall
检查MooseFS客户端安装结果
$ll/usr/local/mfs/bin/
看是否有mfsmount命令,如有,则安装成功;如没有,则没成功。
2.4.3.挂接和使用MooseFS文件系统
创建挂接点$mkdir/mfsclient
挂载$/usr/local/mfs/bin/mfsmount/mfsclient/-H10.1.1.1
查看$df–ah
这时,我们就可以像使用本地磁盘一样使用MooseFS文件系统了。
2.4.4.卸载挂载点
如果需要卸载挂载点,则:
$umount/mfsclient/
2.5.元数据备份服务器metalogger的安装
2.5.1.元数据服务器metalogger的安装
元数据服务器是用来备份元数据服务器的,会定时,以文件的形式下载元数据服务器的meta数据和log数据。
解包$tarzxvfmfs-1.6.13.tar.gz
切换目录$cdmfs-1.6.13.tar.gz
创建用户$useraddmfs–s/sbin/nologin
配置
$./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs–disable-mfsmaster
编译安装$make;$makeinstall
2.5.2.Metalogger的配置
cd/usr/local/mfs/etc/
cpmfsmetalogger.cfg.distmfsmetalogger.cfg
其中MSTER_PORT这一项,必须mfsmaster.cfg中的MATOML_LISTEN_PORT一项一致。
3.管理命令
设置副本的份数,推荐2份
$/usr/local/mfs/bin/mfssetgoal-r2/mfsclient/
查看某文件
$/usr/local/mfs/bin/mfsgetgoal/mfsclient/
查看目录信息
$/usr/local/mfs/bin/mfsdirinfo-H/mfsclient/
查看更详细的文件副本状态信息,可以用mfscheckfile和mfsfileinfo
$mfscheckfile/mnt/mfs-test/test1
通过mfsgettrashtime查看或mfssettrashtime设定被删除文件所占空间的保留时间,注意修改时间的话应该以秒为单位(1小时=3600s,24小时=86400s,1周=604800s)
例如:
修改回收时间为10分钟
$mfsrsettrashtime600/mnt/mfs
4.MooseFSmaster恢复
当master因为某些原因崩溃时,最后的metedatachanglogs没有并入到metedata文件中,我
们可以通过mfsmetarestore来还原。
如下:
$mfsmetarestore-a
如果masterdata不是在默认路径下,可能用-d来指定路径
$mfsmetarestore-a-d/storage/mfsmaster
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- MFS 完全 安装 手册