cent OS 下hadoop完全分布式安装.docx
- 文档编号:13895799
- 上传时间:2023-06-19
- 格式:DOCX
- 页数:31
- 大小:3.15MB
cent OS 下hadoop完全分布式安装.docx
《cent OS 下hadoop完全分布式安装.docx》由会员分享,可在线阅读,更多相关《cent OS 下hadoop完全分布式安装.docx(31页珍藏版)》请在冰点文库上搜索。
centOS下hadoop完全分布式安装
安装CentOS6
1、首先,要有一张CentOS6.4的安装介质,使用介质启动电脑出现如下界面
界面说明:
Installorupgradeanexistingsystem安装或升级现有的系统
installsystemwithbasicvideodriver安装过程中采用基本的显卡驱动
Rescueinstalledsystem进入系统修复模式
Bootfromlocaldrive 退出安装从硬盘启动
Memorytest 内存检测
注:
用联想E49安装时选择第一项安装时会出现屏幕显示异常的问题,后改用第二项安装时就没有出现问题
2、介质直接“skip”就可以了
3、出现引导界面,点击“next”
4、选中“English(English)”否则会有部分乱码问题
5、键盘布局选择“U.S.English”
6、选择“BasicStorageDevies"点击"Next"
7、询问是否忽略所有数据,新电脑安装系统选择"Yes,discardanydata"
8、Hostname填写格式“英文名.姓”
9、网络设置安装图示顺序点击就可以了
这里可以不设置在安装完毕后可以通过Linux命令进行设置
10、时区可以在地图上点击,选择“shanghai”并取消SystemclockusesUTC前面的对勾
11、设置root的密码(重要必须牢记密码)
12、硬盘分区,一定要按照图示点选
如果想安装双系统这里不能这么选,请查找资料进行选择
13、调整分区,必须要有/home这个分区,如果没有这个分区,安装部分软件会出现不能安装的问题
14、询问是否格式化分区
15、将更改写入到硬盘
16、引导程序安装位置
17、最重要的一步,也是本教程最关机的一步,也是其他教程没有提及的一步,按图示顺序点击
18、取消以下内容的所有选项
根据自己的需要进行选择这些都是系统提供的一些工具可以选择安装这些工具
Applications
BaseSystem
Servers
并对Desktops进行如下设置
即取消如下选项:
DesktopDebuggingandPerformanceTools
DesktopPlatform
RemoteDesktopClients
InputMethods中仅保留ibus-pinyin-1.3.8-1.el6.x86_64,其他的全部取消
19、选中Languages,并选中右侧的ChineseSupport然后点击红色区域
20、调整完成后如下图所示
21、至此,一个最精简的桌面环境就设置完成了,
22、安装完成,重启
23、重启之后,的LicenseInformation
24、CreateUser
Username:
填写您的英文名(不带.姓)
FullName:
填写您的英文名.姓(首字母大写)
25、"DateandTime"选中“Synchronizedataandtimeoverthenetwork”
Finsh之后系统将重启
26、第一次登录,登录前不要做任何更改,这个很重要!
!
!
登录之后紧接着退出
第二次登录,选择语言,在红色区域选择下拉小三角,选other,选中“汉语(中国)”
27、登录之后,请一定按照如下顺序点击!
至此,CentOS安装完成,如有其他问题,请随时与我联系!
!
新建运行hadoop专属用户名hduser
1切换到root权限su–
提示输入root密码输入密码回车进入
2新建hduser用户adduser-mhduser
3为hduser用户设置密码passwdhduser
两次输入密码即可
这里使用四台主机进行搭建,分别为
NameNode192.168.0.156
DataNode1192.168.0.157
DataNode1192.168.0.158
DataNode1192.168.0.159
以下设置均在root权限下进行设置
将所有的主机进行组网
1修改所有的主机文件/etc/hosts添加主机名称和对应的IP,形式如下所示
127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
:
:
1localhostlocalhost.localdomainlocalhost6localhost6.localdomain6
192.168.0.156NameNode
192.168.0.157DataNode1
192.168.0.158DataNode2
192.168.0.159DataNode3
2修改/etc/sysconfig/network-script/ifcgf-eth0文件,定义网卡的IPDNS工作组IP地址类型(动态或者静态)广播地址等信息
注意当一台主机有多张网卡时/etc/sysconfig/netrok-script/文件中包含多个ifcgf-文件,修改接入网络的那张网卡的对应文件,文件内容的正确与否直接关系到时否能正确组网
文件内容包括
DEVICE=eth0#网卡名称
BOOTPROTO=static#静态/动态IP
IPADDR=192.168.0.156#网卡的IP地址
NETMASK=255.255.255.0#子网掩码
GATEWAY=192.168.0.1#默认网关
TYPE=Ethernet
3关闭防火墙(如果对防火墙有很好的认识可以对防火墙规则进行配置,在满足Hadoop需要的同时增强系统的安全性,这里只介绍完全关闭防火墙)
/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 22 -j ACCEPT
/etc/rc.d/init.d/iptables save
重启计算机后,防火墙默认已经开放了80和22两个端口。
临时性的完全关闭防火墙,可以不重启机器:
/etc/init.d/iptable stop ## 本次关闭防火墙,重启后恢复防火墙
/etc/init.d/iptable restart ##重启防火墙
永久性关闭防火墙:
chkconfig --level 35 iptables off ##注意中间的是两个英式小短线;重启
可以通过命令/etc/init.d/iptables status 查看防火墙状态
如果提示fireisnotrun表示防火墙已经完全关闭
经过上面步骤后,计算机组网已经完成,我们可以通过pingIP地址/主机名如ping192.168.0.159或者pingDataNode3的方式来验证网络是否联通
安装JDK
注意:
各主机JDK安装版本和安装位置必须相同
JDK可以去Oracl官网进行下载,可以根据自己电脑安装的是Linux系统来选择是64位还是32位JDKforLinux
这里以jdk-7u45-linux-x64.gz为例下载JDK存放在/home/hduser/目录下
JDK安装在/usr/java录下(需要新建文件mkdir/usr/java
1进入/usr/java文件cd/usr/java
2解压软件包jdk-7u45-linux-x64.gzgunzip/home/hduser/jdk-7u45-linux-x64.gz
3解压后会在/usr/java/目录下生成jdk1.7.0_45文件夹
4配置Java系统环境变量,在root权限下打开/etc/profile文件vim/etc/profile
5在文件的末尾添加上如下内容
exportJAVA_HOME=/usr/java/jdk1.7.0_45
exportCLASSPATH=.:
$JAVA_HOME/lib:
$JRE_HOME/lib:
$CLASSPATH
exportPATH=$JAVA_HOME/bin:
$JRE_HOME/bin:
$PATH
exportJRE_HOME=$JAVA_HOME/jre
6由于Linux系统默认安装openJDK所以这里要修改默认JDK为我们安装的JDK
在hduser账户下输入下列命令
sudoupdate-alternatives--install/usr/bin/javajava/user/java/jdk1.7.0_45/bin/java300
sudoupdate-alternatives--install/usr/bin/javacjavac/user/java/jdk1.7.0_45/bin/javac300
(注意红色部分是设置的JAVA_HOME的文件路径,也就是Java的安装路径)
Sudoupdate-alternatives--configjava
会出现Linux中所有可用的JDK我们选择自己安装的JDK安回车键即可
7查看Linux是否是我们安装的JDK输入命令
Java-version
如果出现如下图所示即为安装成功
配置SSH免密码登录
NameNode节点需要随时访问DataNode节点,这就需要在访问时不需要输入密码。
(如果每次访问DataNode节点都需要人工输入密码是很麻烦的事情)
在每个节点中完成下列操作
1切换到hduser用户下
2查看/home/hduser/目录下是否有.ssh文件夹。
可以通过命令ls-al查看,如果没有的话使用mkdir/home/hduser/.ssh新建一个文件夹
3进入.ssh文件夹cd/home/hduser/.ssh
4输入命令ssh-keygen-trsa,这样会在.ssh文件中生成私钥id_rsa,和公钥id_rsa.pub文件,如图所示
5将生成的公钥id_rsa.pub复制到authorezied_keys文件中
cat/home/hduser/.ssh/id_rsa.pub>>/home/hduser/.ssh/authorized_keys
6上述步骤完成后可以免密码登录本地节点,我们可以通过命令sshlocalhost来验证
在NameNode节点完成下列命令
1将NameNode节点的公钥id_rsa.pub分发给所有的DataNode节点
我们可以通过网络复制命令scp很方便的完成这个操作
scp命令格式如下
scp本地文件目标节点用户名@目标节点IP:
文件存储路径
这里采用具体命令如下
scp/home/hduser/.ssh/id_rsa.pub
hduser@192.168.0.157:
/home/hduser/.ssh/rsapub_from_namenode
也可以写成
scp/home/hduser/.ssh/id_rsa.pub
hduser@DataNode1:
/home/hduser/.ssh/rsapub_from_namenode
按照此命令将NameNode节点的公钥分发给所有的DataNode
在所有的DataNode节点中完成下列命令
2将NameNode节点的公钥添加到所有DataNode节点的authorized_keys文件中
cat/home/hduser/.ssh/rsapub_from_namenode>>/home/hduser/.ssh/authorized_keys
这样我们的免密码登录就配置好了,我们可以再NameNode上通过命令
ssh192.168.0.157看看是否不需要输入密码就可以登录DataNode节点
安装Hadoop
我们可以去Hadoop官方网站版本为例进行讲解
1下载Hadoop2.2.0存放在/home/hduser/目录下
2进入/home/hduser目录cd/home/hduser
3解压缩Hadooptar-xzvf/home/hduser/Hadoop-2.2.0.tar.gz
4配置Hadoop,需要配置的有五个文件分别为
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves
配置信息如下图所示
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- cent OS 下hadoop完全分布式安装 hadoop 完全 分布式 安装