Greenplum 43 For CentOS 65 安装指南.docx
- 文档编号:4564759
- 上传时间:2023-05-07
- 格式:DOCX
- 页数:16
- 大小:53.83KB
Greenplum 43 For CentOS 65 安装指南.docx
《Greenplum 43 For CentOS 65 安装指南.docx》由会员分享,可在线阅读,更多相关《Greenplum 43 For CentOS 65 安装指南.docx(16页珍藏版)》请在冰点文库上搜索。
Greenplum43ForCentOS65安装指南
Greenplum4.3ForCentOS6.5安装指南
1.greenplum数据库安装前期准备工作
1.1安装Linux
∙内存:
最小1GB,推荐2GB或以上。
∙交换空间:
内存大小是1-2GB时,交换空间是内存的1.5倍,内存大小2-16GB时,交换空间等于内存大小,内存大小16G以上时,交换空间为16GB。
∙需要选择以下组件:
GNOME桌面、编辑器、开发工具、开发库等,具体参照Linux标准文档。
∙使用安装光盘安装CentOS-6.5-x86_64-bin
∙Greenplum数据库版本4.3.9.1
1.2配置系统信息,做安装Greenplum的准备工作
1.2.1 Greenplum集群介绍
这里使用1个master,3个segment的集群,ip为:
196.168.0.56
196.168.0.57
196.168.0.58
196.168.0.59
其中196.168.0.56为master,其余为segment。
1.2.2 修改/etc/hosts文件(所有的机器都要修改)
这里主要是为之后Greenplum能够在各个节点之间相互通信做准备,添加如下:
格式为:
主机ip地址主机名
[root@mdw~]#vi/etc/hosts
192.168.0.56mdw
192.168.0.57sdw1
192.168.0.58sdw2
192.168.0.59sdw3
注意:
一定要按照这个格式写,参数代表的含义,上面已经做出说明。
配置了这个文件之后,需要继续修改hostname,即修改/etc/sysconfig/network这个文件。
如下(所有机器都要修改):
[root@mdw~]#vi/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=mdw
注意:
这里修改hostname,需要重启之后方可生效,如需立即生效,需使用hostname命令。
[root@mdw~]#hostnamemdw
这里的HOSTNAME一定要与/etc/hosts中的主机名一致,最终可以使用ping命令测试是否配置好了:
[root@mdw~]#pingsdw1
PINGsdw1(192.168.0.57)56(84)bytesofdata.
64bytesfromsdw1(192.168.0.57):
icmp_seq=1ttl=64time=1.14ms
64bytesfromsdw1(192.168.0.57):
icmp_seq=2ttl=64time=0.726ms
64bytesfromsdw1(192.168.0.57):
icmp_seq=3ttl=64time=0.714ms
---sdw1pingstatistics---
3packetstransmitted,3received,0%packetloss,time2279ms
rttmin/avg/max/mdev=0.714/0.862/1.148/0.204ms
[root@mdw~]#pingsdw2
PINGsdw2(192.168.0.58)56(84)bytesofdata.
64bytesfromsdw2(192.168.0.58):
icmp_seq=1ttl=64time=0.940ms
---sdw2pingstatistics---
1packetstransmitted,1received,0%packetloss,time971ms
rttmin/avg/max/mdev=0.940/0.940/0.940/0.000ms
[root@mdw~]#pingsdw3
PINGsdw3(192.168.0.59)56(84)bytesofdata.
64bytesfromsdw3(192.168.0.59):
icmp_seq=1ttl=64time=1.62ms
64bytesfromsdw3(192.168.0.59):
icmp_seq=2ttl=64time=0.669ms
---sdw3pingstatistics---
2packetstransmitted,2received,0%packetloss,time1146ms
rttmin/avg/max/mdev=0.669/1.148/1.627/0.479ms
一定要使用主机名来测试,使用ip地址测试无效。
注意:
修改了/etc/sysconfig/network后,可以将/home/gpadmin/.gphostcache删除掉,因为如果在修改network文件之前执行过gpssh-exkeys,可能会在gphostcache文件中生成主机名和hostlist配置中的名字形成对应关系,而greenplum之后不会再修改这个文件。
1.2.3 创建用户和用户组(所有机器都要创建)
[root@mdw~]#groupadd-g530gpadmin
[root@mdw~]#useradd-g530-u530-m-d/home/gpadmin-s/bin/bashgpadmin
[root@mdw~]#passwdgpadmin
Changingpasswordforusergpadmin.
Newpassword:
Retypenewpassword:
passwd:
allauthenticationtokensupdatedsuccessfully.
1.2.4 修改系统内核(所有的机器都要修改)
[root@mdw~]#vi/etc/sysctl.conf
kernel.shmmax=500000000
kernel.shmmni=4096
kernel.shmall=4000000000
kernel.sem=2505120001002048
kernel.sysrq=1
kernel.core_uses_pid=1
kernel.msgmnb=65536
kernel.msgmax=65536
kernel.msgmni=2048
net.ipv4.tcp_syncookies=1
net.ipv4.ip_forward=0
net.ipv4.conf.default.accept_source_route=0
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_max_syn_backlog=4096
net.ipv4.conf.all.arp_filter=1
net.ipv4.ip_local_port_range=102565535
dev_max_backlog=10000
net.core.rmem_max=2097152
net.core.wmem_max=2097152
vm.overcommit_memory=2
执行以下命令使参数生效:
[root@dw-greenplum-1~]#sysctl-p
注意:
每台机器都要修改,不然就会初始化不成功。
1.2.5 修改文件打开限制(每台机器都要修���):
[root@mdw~]#vi/etc/security/limits.conf
#Endoffile
*softnofile65536
*hardnofile65536
*softnproc131072
*hardnproc131072
在这个文件末尾,添加上面四行就可以了。
1.2.6 关闭防火墙(每台机器都要)
[root@mdw~]#serviceiptablesstop
(或者开放5432端口,该端口之后会用到)
[root@mdw~]#/sbin/iptables-IINPUT-ptcp--dport80-jACCEPT
[root@mdw~]#/etc/rc.d/init.d/iptablessave
除此之外,还需关闭SELINUX
[root@mdwselinux]#vi/etc/selinux/config
#ThisfilecontrolsthestateofSELinuxonthesystem.
#SELINUX=cantakeoneofthesethreevalues:
#enforcing-SELinuxsecuritypolicyisenforced.
#permissive-SELinuxprintswarningsinsteadofenforcing.
#disabled-NoSELinuxpolicyisloaded.
SELINUX=disabled
#SELINUXTYPE=cantakeoneofthesetwovalues:
#targeted-Targetedprocessesareprotected,
#mls-MultiLevelSecurityprotection.
SELINUXTYPE=targeted
好了现在准备工作已经做好了,可以开始安装Greenplum了。
2安装Greenplum
2.1 创建安装文件目录(每台机器都需要创建)
[root@mdw~]#mkdir/opt/greenplum
[root@mdw~]#chown-Rgpadmin:
gpadmin/opt/greenplum
之后安装文件,就放在这个目录下面
2.2 下载安装包
官网https:
//network.pivotal.io/products/pivotal-gpdb
注意:
下载安装包之前,需要在官网注册账号,方可下载。
(1)选择最新发布版本
(2)选择最后一个 4.3.9.1DatabaseServer
(3)选择第二个 GreenplumDatabase4.3.9.1for RedHat EnterpriseLinux5,6and7
2.3 master上安装Greenplum(只需master即可)
上传Greenplum的安装文件greenplum-db-4.3.9.1-build-1-RHEL5-x86_64.zip并解压缩。
#unzip./greenplum-db-4.3.9.1-build-1-RHEL5-x86_64.zip
在root用户下,将下载的文件放在CentOS系统中自己能找到的位置即可,给该文件赋予可执行权限,之后执行该文件,即开始安装
#chmod+xgreenplum-db-4.3.9.1-build-1-RHEL5-x86_64.bin
#./greenplum-db-4.3.9.1-build-1-RHEL5-x86_64.bin
期间需要修改默认安装目录,输入/opt/greenplum/greenplum-db-4.3.9.1之后即可安装成功,此时master上的Greenplum安装成功了。
但是之前我们都是以root身份安装的,所以要将安装目录下的文件的所有者,都修改为gpadmin。
[root@mdw~]#chown-Rgpadmin:
gpadmin/opt/greenplum
因为只在master上安装了Greenplum,所以接下来要将安装包批量发送到每个segment上,才能算是整个集群完整安装了Greenplum。
下面的操作都是为了连接所有节点,并将安装包发送到每个节点。
2.4 创建配置文件
[root@mdw~]#su–gpadmin
[gpadmin@mdw~]$mkdirconf
[gpadmin@mdw~]$cdconf
[gpadmin@mdwconf]$vihostlist
mdw
sdw1
sdw2
sdw3
[gpadmin@mdwconf]$viseg_hosts
sdw1
sdw2
sdw3
注意:
此时需要转换成gpadmin身份来操作了,按照上面的文件内容创建hostlist和seg_hosts文件备用。
hostlist存储了所有节点的主机名,seg_hosts存储了所有从节点的主机名。
这里文件中的mdw、sdw1、sdw2、sdw3即为之前在/etc/hosts文件中配置的最后一个参数。
2.5 打通所有节点
greenplum_path.sh中保存了运行Greenplum的一些环境变量设置,包括GPHOOME、PYTHONHOME等设置。
[gpadmin@mdw~]$source/opt/greenplum/greenplum-db/greenplum_path.sh
[gpadmin@mdw~]$gpssh-exkeys-f/home/gpadmin/conf/hostlist
[STEP1of5]createlocalIDandauthorizeonlocalhost
.../home/gpadmin/.ssh/id_rsafileexists...keygenerationskipped
[STEP2of5]keyscanallhostsandupdateknown_hostsfile
[STEP3of5]authorizecurrentuseronremotehosts
...sendtosdw1
...sendtosdw2
...sendtosdw3
[STEP4of5]determinecommonauthenticationfilecontent
[STEP5of5]copyauthenticationfilestoallremotehosts
...finishedkeyexchangewithsdw1
...finishedkeyexchangewithsdw2
...finishedkeyexchangewithsdw3
[INFO]completedsuccessfully
注意:
(1)首次执行gpssh-exkeys命令时,在[STEP3of5],要输入每个segment节点的gpadmin用户的密码。
(2)gpssh-exkeys命令使用的时候一定要用gpadmin身份,因为这个命令会生成ssh的免密码登录的秘钥,在/home/gpadmin/.ssh这里。
如果以root身份使用gpssh-exkeys命令,那么生成的.ssh秘钥在root的home下面或者是在/home/gpadmin下面但是是root的所有者,如果之后使用gpadmin身份执行相应操作的时候就没有权限。
[INFO]completedsuccessfully这就说明成功打通了,之后就可以使用下面的命令开启批量操作,如下:
[gpadmin@mdw~]$gpssh-f/home/gpadmin/conf/hostlist
Note:
commandhistoryunsupportedonthismachine...
=>pwd
[sdw1]/home/gpadmin
[sdw3]/home/gpadmin
[sdw2]/home/gpadmin
[mdw]/home/gpadmin
=>exit
这里pwd命令是linux中的查看路径命令,这里也是查看一下批量操作时所处的位置,从中可以看到同时连接到了4个节点。
这里如果/etc/hosts文件中参数只设置了两个,没有设置主机名,就只能同时连接2个节点,而且是随机的。
这里我们只是测试一下,exit之后先做一些其他的操作。
2.6 将安装包分发到每个子节点
打通之后需要将master中的greenplum安装包批量复制到各个segment节点上。
[gpadmin@mdwconf]$cd/opt/greenplum/
打包:
[gpadmin@mdwgreenplum]$tar-cfgp.4.3.targreenplum-db-4.3.9.1/
然后利用gpscp命令将这个文件复制到每一台机器上:
[gpadmin@mdwgreenplum]$gpscp-f/home/gpadmin/conf/seg_hostsgp.4.3.tar=:
/opt/greenplum/
如果没有意外,就批量复制成功了,可以去子节点的相应文件夹查看,之后要将tar包解压,我们使用批量操作。
[gpadmin@mdwgreenplum]$cd~/conf/
[gpadmin@mdwconf]$gpssh-fseg_hosts
Note:
commandhistoryunsupportedonthismachine...
=>cd/opt/greenplum
[sdw3]
[sdw1]
[sdw2]
=>tar-xfgp.4.3.tar
[sdw3]
[sdw1]
[sdw2]
建立软链接
=>ln-s./greenplum-db-4.3.9.1greenplum-db
[sdw3]
[sdw1]
[sdw2]
=>ll(可以使用ll查看一下是否已经安装成功)
=>exit
这样就完成了所有节点的安装。
3初始化数据库
在初始化之前的的几个步骤都是做一些准备工作。
3.1 批量创建Greenplum数据存放目录
[gpadmin@mdwconf]$gpssh-fhostlist
=>mkdirgpdata
[sdw3]
[mdw]
[sdw2]
[sdw1]
=>cdgpdata
[sdw3]
[mdw]
[sdw2]
[sdw1]
=>mkdirgpmastergpdatap1gpdatap2gpdatam1gpdatam2
[sdw3]
[mdw]
[sdw2]
[sdw1]
=>ll
=>exit
3.2 配置.bash_profile环境变量(每台机器都要)
编辑.bash_profile文件,添加以下内容:
[gpadmin@mdw~]$cd~
[gpadmin@mdw~]$vi.bash_profile
source/opt/greenplum/greenplum-db/greenplum_path.sh
exportMASTER_DATA_DIRECTORY=/home/gpadmin/gpdata/gpmaster/gpseg-1
exportPGPORT=5432
exportPGDATABASE=testDB
[gpadmin@mdw~]$source.bash_profile(让环境变量生效)
注意:
PGPORT指的是你安装greenplum数据库的端口号。
这里有个问题,Greenplum自己会安装一个Python包,是2.6.6的。
而CentOS6.5本身自带有一个Python包,是2.6.2的,设置了以上的环境变量了之后,使用yum安装一些软件的时候就会出现问题(因为yum是基于Python的),因为系统就发现自己有两个Python包,他不知道用哪一个了。
我还没有试过更新系统的Python包,需要安装软件的时候,我就将环境变量都注释掉,安装完之后再让他生效。
3.3 创建初始化配置文件(只需master即可)
[gpadmin@mdw~]$vi/home/gpadmin/conf/gpinitsystem_config
ARRAY_NAME="Greenplum"
SEG_PREFIX=gpseg
PORT_BASE=33000
declare-aDATA_DIRECTORY=(/home/gpadmin/gpdata/gpdatap1/home/gpadmin/gpdata/gpdatap2)
MASTER_HOSTNAME=mdw
MASTER_DIRECTORY=/home/gpadmin/gpdata/gpmaster
MASTER_PORT=5432
TRUSTED_SHELL=/usr/bin/ssh
MIRROR_PORT_BASE=43000
REPLICATION_PORT_BASE=34000
MIRROR_REPLICATION_PORT_BASE=44000
declare-aMIRROR_DATA_DIRECTORY=(/home/gpadmin/gpdata/gpdatam1/home/gpadmin/gpdata/gpdatam2)
MACHINE_LIST_FILE=/home/gpadmin/conf/seg_hosts
3.4 初始化数据库(只需master即可)
[gpadmin@mdw~]$gpinitsystem-c/home/gpadmin/conf/gpinitsystem_config-ssdw3
其中sdw3是指master的standby所在的节点,我看书上和网上的一些资料都将standby放在最后一个节点,可能是约定俗成的吧。
注意:
如果上面有一些配置有问题,gpinitsystem就不能成功,日志在主节点/home/gpadmin/gpAdminLogs/的gpinitsystem_2016XXXX.log文件中。
需要注意的是如果初始化失败,一定要认真查看这个日志文件,一味重复安装没有太大意义,重要的是要找到主要原因。
4测试运行安装的Greenplum数据库
4.1 启动和停止数据库测试是否能正常启动和关闭
#gpstart
#gpstop
4.2 访问数据库
#psql-dpostgres
psql(8.2.15)
Type"help"forhelp.
postgres=#
出现以上界面,恭喜你已经安装成功了。
输入查询语句,查看是否可以执行。
postgres=#selectdatname,datdba,encoding,dataclfrompg_database;
datname|datdba|encoding|datacl
-----------+--------+----------+----------------------------------
postgres|10|6|
template1|10|6|{=c/gpadmin,gpadmin=CTc/gpadmin}
template0|10|6|{=c/gpadmin,gpadmin=CTc/gpadmin}
(3rows)
postgres=
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Greenplum 43 For CentOS 65 安装指南 安装 指南