1、vmware虚拟机下hadoop集群安装过程vmware虚拟机下hadoop集群安装过程 Hadoop俗称分布式计算，最早作为一个开源项目，最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样，虽然Hadoop最初十分简单，但随着近些年来大数据的兴起，其也获得了一个充分体现价值的舞台。这也正是业内普遍将Hadoop看做是下一个Linux的原因。 一基于vmware的hadoop环境简述本文介绍基于多台vmware虚拟机来安装hadoop集群的过程及方法，通过这个小的集群让您在本地电脑上就可以研究hadoop的相关工作过程，有人会有疑问在小的虚拟机集群上研究的结果， 写的程序能否在大集
2、群上工作正常？可以肯定的没问题的。Hadoop的一个特性是线性增长特性，即当前数量情况下，处理时间是1， 若是数据量加倍， 后处理时间加倍， 若是在这种情况下， 处理能力也加倍则处理时间也是1.正常情况hadoop需要较多的服务器才能搭建， 但是我们在家里学习如何去找那么服务器， 解决办法可以找几台pc机，在pc机上安装linux系统就可以了。 当然我们还有更简单的办法， 就是找一台高性能的电脑， 在电脑上安装虚拟机软件，里面创建若干台虚拟机， 然后让这些虚拟机构成一个小的内部局域网络，在这个网络上我们安装linux软件， java软件， 安装hadoop程序，我们就可以创建一个简单hadoo
3、p的研究系统， 进行软件的开发调试， 在这个小的分布式集群上开发的程序可以无缝移植到相同版本的hadoop（不同hadoop的版本兼容性不是很好， 特别是低版本同高版本， 他们的api也有些许变化）集群中。如下是在笔者笔记本上构建的一个hadoop的虚拟机系统， 相关网络拓扑结构如下：虚拟机0，机器名称：db， ip：192.168.186.10虚拟机1，机器名称：red， ip：192.168.186.11虚拟机2，机器名称：mongdb， ip：192.168.186.12虚拟机3，机器名称：nginx，ip：192.168.186.13如上图， 4台虚拟机通过一个虚拟的交换机互联， 开发
4、机器也连接到这个虚拟交换机上， 虚拟的交换机同adsl相连接，这样整个系统都可以直接上网了。下面是几个虚拟机的典型配置，如下：Db的配置，如上， 这个机器的内存配置比较高， 这个机器是机器的master服务器， 需要较多的内存。 因此配置了1.3g内存。下面是red的配置， mongdb及nginx的配置同这个机器配置相同，配置如下：这个机器的配置同db机器配置相同， 仅仅是内存小了些， 这里内存是188m， 作为调试环境已经足够用了。二基于vmware虚拟机环境配置1. 网卡的Ip地址配置采用静态ip配置方式， 防止重新启动后dhcp分配新的ip后，造成不必要的混乱。 配置如下：2. Hos
5、ts文件配置rootdb # cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.localdomain localhost:1 localhost6.localdomain6 localhost6192.168.186.10 db192.168.186.11 red192.168.186.12 mongdb192.168.186.13 nginx需要确保每一台机器的 host
6、s文件配置如上图所示。简便配置方法， 在配置一台机器后， 可以编写脚本实现自动将hosts文件复制到多台机器上。脚本如下：rootdb # cat update_hosts.sh #!/bin/shfor host in red mongdb nginx;do echo $host scp /etc/hosts root$host:/etc/donerootdb # 主要这个脚本要在root下编写， 然后赋予可以执行的权限（chmod a+x *.sh）, 然后在root权限下执行。脚本会自动完成hosts文件的复制工作。上面过程完成后， 分别登录每一台机器， 把每一个服务器都ping一下，
7、若是不通，在仔细检查一下。3. Java配置在每个虚拟机服务器上检查是否正确安装了java， 是否配置了java的环境变量等如上图， 1处输入 java -version， 然后应该输出类似2处的输出，标识java已经正确安装了同时采用3处的命令， env | grep JAVA_HOME 来检查环境变量是否正确配置了， 若是没有配置java的环境变量则需要进行配置若是您java还有安装请 用下面命令安装 yum install java-1.7.0-openjdk 然后用下面命令配置环境变量。vi /etc/profile打开编辑的文件后， 在文件最后面添加如下内容JAVA_HOME=/us
8、r/lib/jvm/java-1.7.0-openjdk-1.7.0.25/jreJRE_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.25/jrePATH=$PATH:$JAVA_HOME/binCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOME JRE_HOME PATH CLASSPATH保存退出， 最后运行下面命令， 使配置生效source /etc/profile然后再次测试上面的过程， 看看是否符合相关需要。如果您还没做到到网络搜索一下吧。4.
9、ssh免登录功能配置Hadoop通过ssh进行相关管理工作，主要是hadoop的管理脚本通过ssh远程对各个服务器进行相关的管理，包括启动，停止等。 关于如何配置ssh的免密码登录，请参考下面文章的相关部分：Hadoop1.2.1 Pseudo-Distributed伪分布模式配置5. 关闭相关的防火墙Hadoop程序在工作过程中，各个节点间有很多程序要进行通信，因此我们需要对防火墙做些处理， 保证这些访问能正常工作。 我们这里采用最简单的办法是关闭研究用集群虚拟机的全部防火墙.在虚拟机中，启动setup程序选择防火墙工作这一项在下面的对话框中， 选择如下特殊颜色的区域的相关选项， 最后选择o
10、k推出6. 下载hadoop程序相关过程略。三配置hadoop分布式集群1. 在虚拟机db上下载hadoop程序， 然后解压缩到 /work/apps/hadoop目录, 相信你会这个操作， 不行XX一下啦。2. 配置hadoop的环境变量进入conf目录， 编辑hadoop-env.sh 文件， 修改java home的配置JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.25/jre注意这个配置，要同前面配置java的时候配置相同。3. 创建目录Name目录存放namenode的hdfs目录及文件的元数据。Data目录存放datanode的数据
11、4. 配置core-site.xml 文件vi core-site.xml hadoop.tmp.dir / 临时文件目录 /work/apps/hadoop/tmp A base for other temporary directories. fs.default.name / namenode的服务器的地址 hdfs:/db:9000 fs.trash.interval / 回收站的文件间隔时间 1440 Number of minutes between trash checkpoints. If zero, the trash feature is disabled. 如何确定这个文
12、件有哪些配置可以填写及相关含义？这个文件对应一个默认的配置文件，在：打开这个文件如下：文件可以配置项目含义都在文件中了， 大家慢慢参考。 注意不是在这个文件中配置的项目， 若是写在了这里了， 对系统没有任何作用， 当然配置也是无效的。5. 配置hdfs-site.xml 输入下面命令vi hdfs-site.xml 注意上面的特别注意的区域相关配置。 dfs.name.dir / namenode存储数据的数据的地方 /work/apps/hadoop/name / 这里可以放多个文件的列表， 用逗号分隔， 系统会同步把数据写到这些目录中后，才返回确保元数据的安全。建议这些目录在不同的物理磁盘
13、，这样可以提高系统的io性能。另外，最好能通过nfs等方式把数据写到别的服务器一份或者若干份，这样更会确保元数据完好无误的被保留。 dfs.data.dir / datanode存放数据的地方 /work/apps/hadoop/data / 这里可以存放用逗号分隔的磁盘目录列表，系统在存储数据时会把不同的块数据轮转的方式分别放到不同目录中。一般一个文件的块1放到目录A， 块2则放目录b等等，这样可以充分提高系统的性能。 dfs.replication / 文件的副本个数 36. 配置mapred-site.xml 文件vi mapred-site.xml mapred.job.tracker
14、 / 设置job tracker db:90017. 配置masters和slaves 文件查看下面两个文件的内容，如下： masters文件中存放，secondary server的配置slaves中存放的是 datanode，tasktractor的服务器的列表这个两个文件不需要分发给 slaves节点， 但是我们这里简便处理， 在脚本中没有排除这些文件，可以通过一定的配置文件制定相关位置等。四测试hadoop系统1. 分发配置好的hadoop系统到各个服务器中 创建如下脚本程序 rootdb apps# vi scp_hadoop.sh 脚本内容如下：#!/bin/shfor host
15、in red mongdb nginx;do echo $host scp -r /work/apps/hadoop sch$host:/work/apps/Done保存退出后， 修改文件的可执行属性 （chmod a+x *.sh) 然后在合适的帐号下执行上述脚本， 脚本将 已经配置好的hadoop程序拷贝到其他服务器中。2. 启动hadoop系统 进入hadoop的目录， 执行下面命令， 格式化hadoop的文件系统 bin/hadoop namenode -format 格式化namenode的文件系统， 如下图 然后输入bin/start-all.sh 命令， 启动hadoop系统，相
16、关记录如下图：3. 验证hadoop的启动结果输入如下命令， 坚持启动的java进程ps -ef | grep java | awk print $1, $9,$11 这里由于安装的openjdk版本问题，没有安装好jps进程，这样只好用上面的命令临时检查一下java的进程了。验证其他服务器的java运行情况，如下：如上图，不同区域显示了登陆不同服务器后验证java进程的结果。在整个过程中，发生了一些错误通过检查相关日志， 然后进行专项的处理后， 最后调试通过。Hadoop毕竟不是普通的程序， 不可能仅仅简单就通过， 需要认真仔细的研究，练习，不断实践。 最重要的在调试工作提高自己的工作能力，
17、提高对hadoop的理解。附录资料：不需要的可以自行删除DB2 安装配置学习笔记一、DB2在unix或linux上的安装：1、安装前准备工作将下载的安装文件上传到待安装的LINUX机器，解压缩到某个目录，产生了一个名为Server的子目录，进入子目录，可以看到有多个可执行的脚本，其中db2prereqcheck是先决条件检查，db2setup是图形界面安装程序，db2_install是命令行方式安装。还有一个db2目录，保存了需要安装的二进制文件。执行db2prereqcheck，如果没有返回任何结果，表明系统符合DB2安装的先决条件，可以进入下一步安装。如果返回信息，请按信息提示修改配置，然
18、后再次运行，直到没有错误提示。rootredflag11012601 app# ll v*gz-rw-r-r- 1 root root 810576392 05-03 19:44 v9.7_linuxx64_server.tar.gzrootredflag11012601 app# tar xzf v9.7_linuxx64_server.tar.gz rootredflag11012601 app# cd serverrootredflag11012601 server# ll总计 64drwxr-xr-x 6 bin bin 4096 2009-11-16 db2-r-xr-xr-x 1
19、bin bin 5340 2009-11-16 db2ckupgrade-r-xr-xr-x 1 bin bin 5293 2009-11-16 db2_deinstall-r-xr-xr-x 1 bin bin 5163 2009-11-16 db2_install-r-xr-xr-x 1 bin bin 5127 2009-11-16 db2ls-r-xr-xr-x 1 bin bin 5145 2009-11-16 db2prereqcheck-r-xr-xr-x 1 bin bin 5145 2009-11-16 db2setupdrwxr-xr-x 15 bin bin 4096 2
20、009-11-16 doc-r-xr-xr-x 1 bin bin 5181 2009-11-16 installFixPackrootredflag11012601 server# ./db2prereqcheck2、安装DB2数据库软件以操作系统root用户执行db2_install，根据提示操作，设定安装目录和要安装的版本等以后，耐心等待安装任务完成。DB2用一个安装包包括了同一操作系统平台各个版本的功能，只要在安装类型选择企业版即可，这里我们输入ESE。要注意，由于操作系统默认语言为简体中文，安装界面也是中文提示的，而且，必须输入中文是才能更改安装目录。和大多数unix下的软件一样，软
21、件安装只是整个安装过程很小的一步，要使软件能正常工作，大量的配置和管理任务还在后头。rootredflag11012601 server# ./db2_install用于安装产品的缺省目录 - /opt/ibm/db2/V9.7*要选择另一个目录用于安装吗?是/否Y要选择另一个目录用于安装吗?是/否Yes要选择另一个目录用于安装吗?是/否是输入安装目录的完整路径名 -/user1/ibm/db2/V9.7指定下列其中一个关键字以安装 DB2 产品。ESE - 企业版CONSVWSE - 工作组版EXP - 易捷版PE - 个人版CLIENTRTCL按“帮助”以重新显示产品名称。按“退出”以退出
22、。*ESE正在初始化 DB2 安装。要执行的任务总数为：47要执行的所有任务的总估计时间为：2070任务 #1 启动描述：正在检查许可协议的接受情况估计时间 1 秒任务 #1 结束任务 #47 启动描述：正在注册 DB2 更新服务估计时间 30 秒任务 #47 结束任务 #48 启动描述：正在更新全局概要文件注册表估计时间 3 秒任务 #48 结束已成功完成执行。有关更多信息，请参阅 /tmp/db2_install.log.27290 上的 DB2 安装日志。3、注册license本安装因为是评估版无须这一步。用户可以在90天内完全测试全部功能。对于购买了企业版等版本license的用户，需
23、要注册license才能长期使用。4、创建DB2运行所需要的用户组和用户DB2没有独立的用户管理系统，必须借用OS用户来提供安全性认证，所以这里需要创建 LINUX用户和组。一共创建了3个组，每个组一个用户。其作用和含义分别是：数据库管理服务器DAS用户 dasusr1 组名： dasadm1管理实例的用户 db2inst1 组名：db2iadm1受防护用户 db2fenc1 组名： db2fadm1其中管理实例的用户 db2inst1是最常用的，我们为它设置口令db2，以便下面步骤的正常操作。创建完成后，执行如下命令查看/etc/group和/etc/passwd，检查用户组和用户是否创建成
24、功。rootredflag11012602 server# groupadd -g 901 db2grprootredflag11012602 server# groupadd -g 902 db2fgrprootredflag11012602 server# groupadd -g 903 db2agrprootredflag11012602 server# useradd -g db2grp -u 801 -d /home/db2inst1 -m -s /bin/sh db2inst1rootredflag11012602 server# useradd -g db2fgrp -u 802
25、 -d /home/db2fenc -m -s /bin/sh db2fencrootredflag11012602 server# useradd -g db2agrp -u 803 -d /home/db2das -m -s /bin/sh db2dasrootredflag11012602 server# passwd db2inst1Changing password for user db2inst1.New UNIX password:BAD PASSWORD: it is WAY too shortRetype new UNIX password:passwd: all auth
26、entication tokens updated successfully.rootredflag11012602 server# more /etc/group |grep db2db2grp:x:901:db2fgrp:x:902:db2agrp:x:903:rootredflag11012602 server# more /etc/passwd |grep db2db2inst1:x:801:901:/home/db2inst1:/bin/shdb2fenc:x:802:902:/home/db2fenc:/bin/shdb2das:x:803:903:/home/db2das:/bin/sh5、创建实例需要以root用户创建das和实例。分别用下面2个命令：dascrt创建的是DB2 adminstration server，每台服务器只有一个这种server，为进行DB2管理(比如运行控制中心)所必须，同时指定其管理用户是db2das;db2icrt 创建的是实例，其名字一般和管理用户名一样，这里均为db2inst1;创建成功以后，系统在db2das和db2inst1相应的home目录下产生了一个子目录。/home/db2inst1/sqllib目录中包括了一个db2profile文件，包括了设定各
