1、CentOS64位环境下Hadoop260分布式部署说明1，准备工作 1，部署CentOS 7.0(64位)环境；需配置静态IP地址。 1），设置虚拟机网络。 首先打开本机的”打开网络和共享中心”:选择打开”本地连接”，并点击”属性”，勾选”允许其他网络用户通过此计算机的Internet连接来连接”，从下拉框中选择”VMware Network Adapter VMnet8”:虚拟机菜单-编辑-虚拟网络编辑：选择WMnet8 (NAT模式)设置静态IP地址，进入CentOS系统，打开”系统工具”-”设置”-”网络”，选择”手动”，输入IP地址，地址和网关参考上图的子网IP及网关设置。设置完毕之
2、后，再开启就可以发现网络IP地址已经变为设置后的地址。测试网络是否连通： 2），设置主机名。 在root下，打开/etc/hostname 改为namenode，保存。 2，Hadoop -2.6.0 下载，下载地址: 2，安装Java 1），搜索jdk开发环境 yum search jdk2），安装jdk yum install java-1.8.0-openjdk-devel.x86_643），检查是否安装成功 java -version可以看见当前的jdk版本已经是”1.8.0_91”。表示已经安装成功。3，安装Hadoop1），将第一步下载的hadoop版本安装包上传至 /usr/lo
3、cal/ 文件夹，并解压。cd /usr/localgunzip hadoop-2.6.0.tar.gztar -xvf hadoop-2.6.0.tar2），配置环境打开 /etc/profile在文件的最后位置，追加上如下配置：#setjavaenvironmentexport JAVA_HOME=/usr/lib/jvm/javaexport JRE_HOME=$JAVA_HOME/jreexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexpo
4、rt HADOOP_HOME=/usr/local/hadoop-2.6.0export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoopexport YARN_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoopexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH3），激活配置 source /etc/profile4），创建hdfs相关目录mkdir /home/hadoop/hd_space/tmp -pmkdir /home/hadoop/hd_sp
5、ace/hdfs/name -pmkdir /home/hadoop/hd_space/hdfs/data -pmkdir /home/hadoop/hd_space/mapred/local -pmkdir-p/home/hadoop/hd_space/mapred/systemchown-Rhadoop:hadoop/home/hadoop/hd_space/chown-Rhadoop:hadoop/usr/local/hadoop-2.6.04，虚拟机克隆1），选择菜单栏中的“虚拟机-管理-克隆”。选择”创建完整克隆”。2），更改虚拟机的网卡 打开克隆虚拟机，“网络适配器”-“高级”如下
6、图：MACdatanode1:HWADDR=00:0C:29:10:EC:78datanode2:HWADDR=00:0C:29:10:EC:793），更改主机名主机ip配置 分别用root登录克隆的两台机器，打开并编辑/etc/hostname，分别输入 datanode1和datanode2。 打开/etc/sysconfig/network-scripts/ifcfg-eno16777756，修改相关内容：datanode1:HWADDR=00:0C:29:10:EC:78IPADDR=192.168.128.111datanode2:HWADDR=00:0C:29:10:EC:79IP
7、ADDR=192.168.128.1124），重启3台虚拟机。5，3台虚拟机建立互连1），root登陆namenode，打开并编辑/etc/hosts，修改内容： 192.168.128.110 namenode 192.168.128.111 datanode1 192.168.128.112 datanode22），将修改后的文件，分别拷贝到datanode1和datanode2 在终端执行如下指令: scp /etc/hosts root192.168.128.111:/etc/hosts scp /etc/hosts root192.168.128.112:/etc/hosts3），通
8、过SSH建立互连用hadoop分别登陆namenode、datanode1、datanode2。ssh-keygen-trsa 采用默认值3次回车。在datanode1登录hadoop用户scp/home/hadoop/.ssh/id_rsa.pubhadoopnamenode:/home/hadoop/.ssh/id_rsa.pub.datanode1在datanode2登录hadoop用户scp/home/hadoop/.ssh/id_rsa.pubhadoopnamenode:/home/hadoop/.ssh/id_rsa.pub.datanode2在namenode登录hadoop用
9、户cd/home/hadoop/.ssh/llcatid_rsa.pubauthorized_keyscatid_rsa.pub.datanode1authorized_keyscatid_rsa.pub.datanode2authorized_keysscp/.ssh/authorized_keyshadoopdatanode1:/home/hadoop/.ssh/authorized_keysscp/.ssh/authorized_keyshadoopdatanode2:/home/hadoop/.ssh/authorized_keyschmod600/home/hadoop/.ssh/a
10、uthorized_keys备注：无密码登陆，需要600权限（三台机器分别执行chmod600/home/hadoop/.ssh/authorized_keys）。4），测试连通：在namenode上分别执行: ssh datanode1 ssh datanode2在datanode1上执行ssh namenode 和 ssh datanode2在datanode2一样参照上述命令进行验证。6，Hadoop配置修改路径/usr/local/hadoop-2.5.2/etc/hadoop下的配置文件。1），编辑hadoop-env.sh修改JAVA_HOME并保存”exportJAVA_HOME
11、=/usr/lib/jvm/java”2），编辑yarn-env.sh修改JAVA_HOME并保存exportJAVA_HOME=/usr/lib/jvm/java3），编辑core-site.xmlfs.defaultFShdfs:/namenode:9000hadoop.tmp.dir/home/hadoop/hd_space/tmp io.file.buffer.size 4096 4），编辑hdfs-site.xmldfs.namenode.name.dir/home/hadoop/hd_space/hdfs/namedfs.datanode.data.dir/home/hadoop/
12、hd_space/hdfs/datadfs.replication 2dfs.namenode.secondary.http-addressdatanode1:50090dfs.namenode.secondary.https-addressdatanode1:500915），编辑mapred-site.xmlmapreduce.cluster.local.dir/home/hadoop/hd_space/mapred/localmapreduce.cluster.system.dir/home/hadoop/hd_space/mapred/systemmapreduce.framework.
13、nameyarnmapreduce.jobhistory.addressnamenode:10020mapreduce.jobhistory.webapp.addressnamenode:198886），编辑yarn-site.xmlThehostnameoftheRM.yarn.resourcemanager.hostnamenamenodethevalidservicenameshouldonlycontaina-zA-Z0-9_andcannotstartwithnumbersyarn.nodemanager.aux-servicesmapreduce_shuffle7），修改slave
14、s 打开/usr/local/hadoop-2.6.0/etc/hadoop/slaves，将里面的localhost改为datanode1和datanode28），修改datanode1 和 datanode2的hadoop配置 将namenode修改的配置文件，拷贝到datanode1和datanode2 scp-r/usr/local/hadoop-2.6.0/etc/hadoophadoopdatanode1:/usr/local/hadoop-2.6.0/etc scp-r/usr/local/hadoop-2.6.0/etc/hadoophadoopdatanode2:/usr/l
15、ocal/hadoop-2.6.0/etc7，启动hadoop1），格式化 执行命令 hdfs namenode -format。 初次运行，首先要进行格式化（一次就够）2），启动dfs及yarn 执行如下指令 start-dfs.sh 执行如下指令 start-yarn.sh 或者直接执行 start-all.sh 效果和上述两个命令一样。相应的对应中止命令分别为 stop-dfs.sh stop-yarn.sh stop-all.sh3），前台验证 http:/192.168.128.110:50070/dfshealth.jsp 可以看到Live Nodes 个数为2http:/192.168.128.110:8088/cluster4），检查进程检查进程：5），检查日志文件 /usr/local/hadoop-2.6.0/logs6），删除日志 rm-rf/usr/local/hadoop-2.6.0/logs/*.*
