Hadoop集群完全分布式坏境搭建.docx
- 文档编号:4690399
- 上传时间:2023-05-07
- 格式:DOCX
- 页数:12
- 大小:1,007.93KB
Hadoop集群完全分布式坏境搭建.docx
《Hadoop集群完全分布式坏境搭建.docx》由会员分享,可在线阅读,更多相关《Hadoop集群完全分布式坏境搭建.docx(12页珍藏版)》请在冰点文库上搜索。
Hadoop集群完全分布式坏境搭建
Hadoop集群完全分布式环境搭建,我们要使用4台机器来搭建Hadoop集群。
大概的分配:
机器名称
IP地址
角色
系统
Master.Hadoop
192.168.108.129
Master
Centos7
Slave01.Hadoop
192.168.108.130
Slave1
Slave02.Hadoop
192.168.108.131
Slave2
Slave03.Hadoop
192.168.108.132
Slave3
Slave04.Hadoop
192.168.108.133
Slave4
新建虚拟机slave01.hadoop
搭建Hadoop环境并成功运行
查看状态:
使用VM克隆功能,克隆出Slave02.Hadoop、Slave03.Hadoop、Slave04.Hadoop
分别配置各个IP地址,修改主机映射
一定要注意的是,各个节点要相互ping通!
!
!
例如:
至此,各个服务器的基础配置已经完成。
为保证下面工作,建议首先关闭防火墙和SELinux
关闭防火墙
关闭SELinux
改为:
重启
配置SSH无密码配置
解释:
SSH为SecureShell的缩写,由IETF的网络小组(NetworkWorkingGroup)所制定;SSH为建立在应用层和传输层基础上的安全协议。
SSH是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。
利用SSH协议可以有效防止远程管理过程中的信息泄露问题。
SSH最初是UNIX系统上的一个程序,后来又迅速扩展到其他操作平台。
SSH在正确使用时可弥补网络中的漏洞。
SSH客户端适用于多种平台。
几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、DigitalUNIX、Irix,以及其他平台,都可运行SSH。
SSH在Hadoop集群中用途,同一用户无密码登录到各台机器。
SSH原理很简单,就是提前将统一用户的密码进行加密形成密钥进行分发,然后分发到各个服务器中,各个服务器对这个密钥加入到当前的系统用户组中,这样这个用户登录的时候就不需要输入密码进行登录操作了。
步骤:
首先进行sshd配置文件修改,去掉默认注释,开始SSH验证功能。
vim/etc/ssh/sshd_config
将这三行数据的注释“#”去掉保存。
(所有机器都要依次设置!
)
第一行意思开启SSH验证
第二行意思是指可以通过公钥验证
第三行意思是指公钥存放的位置
重启服务:
可以验证一下:
sshlocalhost
要求输入密码,说明这里只是开启了SSH验证,但是没有生产密钥。
我们需要在master节点上生成Hadoop用户的公钥,然后将这个公钥分发给各个slave节点,然后这样在master机器上就可以用Hadoop无密码登录到各个salve机器上了
执行以上命令,一直按“enter”键,直至生成公钥
这是创建的公钥和私钥:
首先,我们要先实现master.hadoop本地的ssh无密码登录
将密钥加入权限验证中并修改文件权限
测试:
至此,成功实现了主节点的SSH无密本地登录
下一步就是主机实现无密码登录节点机器
将这个公钥复制到各个slave节点中去。
首先复制到slave03.Hadoop中(IP为192.168.108.132)
scp~/y.pub远程用户名@远程服务器IP:
~/
在slave03机器中出现公钥:
接着在主机中登录slave03,因为此时没有免密码登录,所以要输入密码
然后从节点要把从主节点复制的id_rsa.pub添加到.ssh/authorized_keys文件里
此时再次登录slave03.Hadoop节点机器,就不用免密登录了
参照以上步骤,对各个节点都实行此操作
此时,主节点master.hadoop对三个从节点slave都实现了免密登录
另外,需要保证各个Slave节点也能无密码登录master机器。
依据主节点登录从节点的步骤重复操作
主节点可以与slave02.hadoop相互登录:
主节点可以与slave03.hadoop相互登录:
主节点可以与slave04.hadoop相互登录:
至此,已经完成了整个集群的SSH配置了。
以上步骤必须验证成功!
下一步,配置Hadoop集群配置
修改文件,首先进行slaves文件的配置,指定该集群的各个slave节点的位置(以Hadoop用户进行操作)
vim/usr/hadoop/hadoop-2.6.5/etc/hadoop/slaves
然后将各个slave的ip或者机器名写入就可以了
下一步,更改hdfs-site.xml文件中的dfs.replication属性值
因为现在不是单个机器了,所以将这个节点更改为3或者更大的数。
注意:
只能是奇数!
!
!
vim/usr/hadoop/hadoop-2.6.5/etc/hadoop/hdfs-site.xml
将dfs.replication属性值改为
注意,所有的机器都要这样配置
最后一步,启动Hadoop集群,验证是否成功
到此,基本完成了一个Hadoop完全分布式的集群配置。
首先执行一个HDFS格式命令,因为改成完全分布式集群,所以这里重新格式
bin/hadoopnamenode–format
格式化之后,验证整个集群的HDFS是否正常可用
启动整个集群的HDFS,在master机器上,用Hadoop用户操作
start-dfs.sh
可用通过浏览器来查看整个集群的HDFS状态,地址为:
http:
//192.168.108.129:
50070/dfshealth.html#tab-overview
可以看到,此时Hadoop集群的HDFS集群已经成功启动,然后看整个集群的存储和节点数
然后,验证一下整个集群的YARN分布式计算框架是否正常使用
启动yarn:
sbin/start-yarn.sh
通过浏览器查看这个集群状态,地址为:
http:
//192.168.108.129:
8080/
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hadoop 集群 完全 分布式 搭建
![提示](https://static.bingdoc.com/images/bang_tan.gif)