CDH547安装部署手册.docx
- 文档编号:17971142
- 上传时间:2023-08-05
- 格式:DOCX
- 页数:33
- 大小:743.61KB
CDH547安装部署手册.docx
《CDH547安装部署手册.docx》由会员分享,可在线阅读,更多相关《CDH547安装部署手册.docx(33页珍藏版)》请在冰点文库上搜索。
CDH547安装部署手册
CDH5.4.7安装部署手册
、
文档编号:
版本号:
V1.0
编写:
审核:
修订记录
版本号
修订日期
章节号
修订内容
修订人
批准人
1软件介绍
1.1关于CDH和ClouderaManager
CM:
Cloudera Manager (Cloudera公司专有的Hadoop集群管控平台) 。
CDH:
Cloudera Distributed Hadoop(Cloudera公司重新打包发布的Hadoop版本)。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。
充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。
HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。
HDFS放宽了POSIX的要求,可以以流的形式访问(streamingaccess)文件系统中的数据。
Hadoop框架最核心的设计就是:
HDFS和MapReduce。
HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
2环境准备
2.1集群规划
IP地址
主机名
角色
172.19.21.11
c1n1
NN/RM/HMaster/ZKFC/JobHistoryServer
172.19.21.12
c1n2
NN/RM/HMaster/ZKFC
172.19.21.13
c1d1
DN/NM/HRegionServer
172.19.21.14
c1d2
DN/NM/HRegionServer
172.19.21.15
c1d3
DN/NM/HRegionServer
172.19.21.16
c1d4
DN/NM/HRegionServer
172.19.21.17
c1d5
DN/NM/HRegionServer
172.19.21.18
c1d6
DN/NM/HRegionServer
172.19.21.19
c1d7
DN/NM/HRegionServer
172.19.21.20
c1d8
DN/NM/HRegionServer/JN/ZK
172.19.21.21
c1d9
DN/NM/HRegionServer/JN/ZK
172.19.21.22
c1d10
DN/NM/HRegionServer/JN/ZK
服务器配置:
软硬件配置:
账号
密码
1
Namenode、Hmaster
ResourceManager
[172.19.21.11-172.19.21.12]
[2台]
主机型号
DellPowerEdgeR720
root
big@1data
物理机硬件配置(CPU/MEM)
10C/64G
物理机硬件配置(DISK)
1T硬盘x1
550G硬盘x2
操作系统及版本号
REDHATENTERPRISELINUXSERVERRELEASE6.4
2
Datanode、NodeManager、HRegionServer
[172.19.21.13--172.19.21.19]
[7台]
主机型号
DellPowerEdgeR620
root
big@1data
物理机硬件配置(CPU/MEM)
10C/32G
物理机硬件配置(DISK)
1T硬盘x4
操作系统及版本号
REDHATENTERPRISELINUXSERVERRELEASE6.4
3
Zookeeper
[172.19.21.20--172.19.21.22]
[3台]
主机型号
DellPowerEdgeR620
root
big@1data
物理机硬件配置(CPU/MEM)
10C/32G
物理机硬件配置(DISK)
1T硬盘x4
操作系统及版本号
REDHATENTERPRISELINUXSERVERRELEASE6.4
2.2环境部署
2.2.1MySQL下载
(1)MySQL-client-5.6.25-1.el6.x86_64.rpm
(2)MySQL-server-5.6.25-1.el6.x86_64.rpm
(3)mysql-connector-java-5.1.36.zip//3.1.1.3中使用
2.2.2JDK下载
(1)jdk-7u71-linux-x64.tar.gz
2.2.3CDH下载
(1)cloudera-manager-el6-cm5.3.4_x86_64.tar.gz
http:
//archive-
(2)rpm包
(3)parcel文件
http:
//archive-
以上存放目录:
/opt/CDH
2.2.4JDK的安装(所有节点)
安装好的Centos系统有时会自动安装OpenJdk,用命令java-version查看
1、删除CentOS自带的JDK
①查看当前JDKrpm包
#rpm-qa|grepjdk
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64
java-1.7.0-openjdk-devel-1.7.0.45-2.4.3.3.el6.x86_64
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
②删除自带JDK
rpm-e--nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm-e--nodepsjava-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64
rpm-e--nodepsjava-1.7.0-openjdk-devel-1.7.0.45-2.4.3.3.el6.x86_64
rpm-e--nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
③检查是否删除干净
#rpm-qa|grepjdk
2、安装目录
/opt/jdk1.7.0_71
3、安装JDK
首先将jdk-7u71-linux-x64.tar.gz解压
tar-xzvfjdk-7u71-linux-x64.tar.gz-C/opt/
4、设置环境变量
#vi/etc/profile
exportJAVA_HOME=/opt/jdk1.7.0_71
exportPATH=$PATH:
$JAVA_HOME/bin
exportCLASSPATH=$JAVA_HOME/lib
exportCLASSPATH=$CLASSPATH:
$JAVA_HOME/jre/lib
5、使配置生效
#source/etc/profile
6、检查JDK安装
java-version
2.2.5关闭防火墙(所有节点)
防火墙会引起hadoop相关组件通讯的各种异常,需关闭防火墙。
用root用户权限登录进行操作。
1、关闭防火墙
#serviceiptablesstop
验证:
serviceiptablesstatus
#serviceiptablesstop(临时关闭)
#chkconfigiptablesoff(重启后生效)
2、关闭selinux
selinux是一种强制访问控制的实现
vi/etc/selinux/config
SELINUX=disabled
3、验证使用getenforce命令查看是否关闭
#getenforce
Disabled
4、绑定IP与主机名(所有节点)
修改/etc/hosts
在每台机器的/etc/hosts中配置集群中各节点的IP和IP对应的机器名,具体内容如下:
执行命令
修改主机名
修改/etc/sysconfig/network文件:
将各个节点的hostname,修改为对应的主机名,便于区分。
重启网络,使修改生效
#servicenetworkrestart
2.2.6SSH无密码登陆 (所有节点)
配置ssh互信的核心思想如下:
首先,在要配置互信的机器上,生成各自的经过认证的key文件;
其次,将所有的key文件汇总到一个总的认证文件中;
将这个包含了所有互信机器认证key的认证文件,分发到各个机器中去;
验证互信。
1、生成秘钥对
#ssh-keygen-trsa
连续3个回车即可,不必输入
2、分别改变~/.ssh目录和authorized_keys文件的权限(非root用户务必做,保证只有用户自己有写权限,否则免密码登录无效,root用户不做)
#chmod700~/.ssh
#chmod600~/.ssh/authorized_keys
(备注:
root用户省略此步骤)
3、每个节点主机都重复以上步骤,并将各自的~/.ssh/id_rsa.pub文件的公钥拷贝至其他主机。
hadoop2:
scp/root/.ssh/id_rsa.pubhadoop1:
root/.ssh/id_rsa.pub2
hadoop3:
scp/root/.ssh/id_rsa.pubhadoop1:
/root/.ssh/id_rsa.pub3
hadoop4:
scp/root/.ssh/id_rsa.pubhadoop1:
/root/.ssh/id_rsa.pub4
hadoop5:
scp/root/.ssh/id_rsa.pubhadoop1:
/root/.ssh/id_rsa.pub5
4、创建公钥认证文件authorized_keys并将生成的~/.ssh目录下的id_rsa.pub文件的内容输出至该文件。
在hadoop1中执行:
cat/root/.ssh/id_rsa.pub*>>/root/.ssh/authorized_keys
5、将生成authorized_keys文件拷贝到其他主机上的/root/.ssh/目录中。
hadoop2~hadoop6将自己的公钥复制给对方主机
scp/root/.ssh/authorized_keyshadoop2:
/root/.ssh/
scp/root/.ssh/authorized_keyshadoop6:
/root/.ssh/
scp/root/.ssh/authorized_keyshadoop[2--5]:
/root/.ssh
6、测试ssh互信
在各个节点上运行以下命令,若不需要输入密码就显示系统当前日期,就说明SSH互信已经配置成功了。
在c1n1节点上输入以下命令:
sshc1n2date
sshc1d1date
sshc1d2date
sshc1d3date
sshc1d4date
……
2.2.7安装NTP时间同步服务(所有节点)
集群中所有主机必须保持时间同步,如果时间相差较大(一般大于6秒)会引起各种问题。
具体思路如下。
master节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode节点提供时间同步服务。
所有datanode节点以master节点为基础同步时间。
NTP可以使用yum直接安装
#yuminstall-y ntp
每台机器安装ntp与ntpdate,并执行以下命令:
#servicentpdstart启动NTP时间同步服务
#chkconfigntpdon配置开机启动
#chkconfig--listntpd查看开机启动设置是否成功##检查是否ntp开启,命令结果,2-5是启用
与主控机同步,先配置主控机的时间与实际时间符合,然后搭建时间服务器并进行同步,步骤如下:
配置NTP主机端
NTP服务只有一个配置文件,配置好了就OK。
这里只给出有用的配置,不需要的配置都用#注掉,这里就不在给出。
#vim/etc/ntp.conf
加入以下内容:
restrict172.19.21.0mask255.255.255.0nomodifynotrap#允许内网其他机器同步时间
server127.127.1.0#外部时间服务器不可用时,以本地时间作为时间服务
fudge127.127.1.0stratum10
#servicentpdrestart
#ntpstat##查看验证
出现以下状态代表启动成功:
synchronisedtoNTPserver()atstratum2
timecorrecttowithin74ms
pollingserverevery128s
配置NTP客户端
#vim/etc/ntp.conf
注释带server字眼行部分内容
添加server主机名或ip如:
server10.231.224.60<--该IP是NTP主机端的IP
#ntpdate-u10.231.224.60#手动同步主机端,免得本地时间与主机端相差太大导致无法同步。
误差不大时,可不做。
#servicentpdrestart
#ntpstat####查看验证
如果出现异常请等待几分钟,一般等待5-10分钟才能同步。
时间同步不生效解决方法:
(1)解决方法:
1.#servicentpdstop
2.#/usr/sbin/ntpdatentp.api.bz
报错为:
ntpdate[3779]:
theNTPsocketisinuse,exiting。
(2)报错为:
ntpdate[3779]:
theNTPsocketisinuse,exiting。
psaux|grepntpd查看
手动杀进程后:
手动同步
2.2.8安装MySQL
MySQL安装包准备
1、安装包下载
(1)MySQL-client-5.6.25-1.el6.x86_64.rpm
(2)MySQL-server-5.6.25-1.el6.x86_64.rpm
(3)mysql-connector-java-5.1.36.zip//3.1.1.3中使用
存放目录:
/opt/
[root@localhostlocal]#cdmysql
[root@localhostmysql]#chown-Rmysql.
[root@localhostmysql]#chgrp-Rmysql
2、检查本地mySQL安装版本
查看是否已有安装旧版mysql,如果出现mysql-libs-5.1.71-1.el6_5.x86_64冲突,先删除
#rpm-qa|grep-imysql
3、清理旧版本MySQL
执行以下命令:
#rpm-qa|grep-imysql
#yumremovemysqlmysql-servermysql-libscompat-mysql51*
#yum-yremovemysql-libs-5.1.71*
#rm-rf/var/lib/mysql
#rm-rf/etc/f
4、开始安装mysql
因MySQL安装包存放目录放在/opt/下,因此进入opt执行安装命令
#rpm-ivhMySQL-server-5.6.25-1.el6.x86_64.rpm
#rpm-ivhMySQL-client-5.6.25-1.el6.x86_64.rpm
5、启动数据库
#chkconfigmysqlon/*将数据库设置为开机启动*/
#servicemysqlstart/*启动数据库*/
#servicemysqlstatus/*查看数据库启动状态*/
#cat/root/.mysql_secret/*查看初始密码*/
6、设置密码
#cat/root/.mysql_secret/*查看初始密码*
#mysql-uroot-p/*登录数据库*/
第一次登录密码为初始密码:
拷贝初始密码登录
设置密码:
setpasswordfor'用户名@localhost'=password('newpassword');
setpasswordfor'root'@'localhost'=password('root');
7、创建数据库
进入mysql命令行mysql-uroot-p,创建以下数据库:
createdatabasehiveDEFAULTCHARSETutf8COLLATEutf8_general_ci;--hive数据库
createdatabaseamonDEFAULTCHARSETutf8COLLATEutf8_general_ci;--集群监控数据库
createdatabasehueDEFAULTCHARSETutf8COLLATEutf8_general_ci;--hue数据库
createdatabaseOozieDEFAULTCHARSETutf8COLLATEutf8_general_ci;--?
8、为新创建的数据库授权
设置root授权访问以上所有的数据库
grantallprivilegeson*.*toamon@'%'identifiedby'root'withgrantoption;
flushprivileges;
3ClouderaManager安装
3.1ClouderaManager安装
=====================================================================
/*installer.bin安装为在线安装、故本次安装未使用installer.bin安装
进入cloudera-manager-installer.bin的下载目录
#chmodu+xcloudera-manager-installer.bin(给下载的bin文件权限)
执行./cloudera-manager-installer.bin(大约十分钟左右)
*/
=====================================================================
CM安装包下载:
下载地址:
http:
//archive-
根据自己的系统选择相应的版本,本次安装选用的是cloudera-manager-el6-cm5.4.5_x86_64.tar.gz下载完成后只上传到主节点即可。
然后解压到/opt目录下,不能解压到其它地方。
解压后生成两个文件夹分别为:
cloudera和cm-5.4.5
因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找,
ClouderaManager可以从如下网址获得:
这里选择ClouderaManager最新版5.4.5
chmodu+xcloudera-manager-installer.bin
./cloudera-manager-installer.bin
3.1.1master配置
1、解压安装
[root@masteropt]#tar-zxvfcloudera-manager-el6-cm5.4.5_x86_64.tar.gz-C/opt
2、添加cloudera-scm用户:
(所有节点)
新增节点时也需添加用户
[root@masteropt]#useradd--system--home=/opt/cm-5.4.5/run/cloudera-scm-server/--no-create-home--shell=/bin/false--comment"ClouderaSCMUser"cloudera-scm
3、添加mysqlconnector包
(方法一)
因为我们用的是Mysql数据库,所以我们需要下载M
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- CDH547 安装 部署 手册
![提示](https://static.bingdoc.com/images/bang_tan.gif)