vmware虚拟机下hadoop集群安装过程.docx
- 文档编号:12722265
- 上传时间:2023-06-07
- 格式:DOCX
- 页数:86
- 大小:524.87KB
vmware虚拟机下hadoop集群安装过程.docx
《vmware虚拟机下hadoop集群安装过程.docx》由会员分享,可在线阅读,更多相关《vmware虚拟机下hadoop集群安装过程.docx(86页珍藏版)》请在冰点文库上搜索。
vmware虚拟机下hadoop集群安装过程
vmware虚拟机下hadoop集群安装过程
Hadoop俗称分布式计算,最早作为一个开源项目,最初只是来源于谷歌的两份白皮书。
然而正如十年前的Linux一样,虽然Hadoop最初十分简单,但随着近些年来大数据的兴起,其也获得了一个充分体现价值的舞台。
这也正是业内普遍将Hadoop看做是下一个Linux的原因。
一.基于vmware的hadoop环境简述
本文介绍基于多台vmware虚拟机来安装hadoop集群的过程及方法,通过这个小的集群让您在本地电脑上就可以研究hadoop的相关工作过程,有人会有疑问在小的虚拟机集群上研究的结果,写的程序能否在大集群上工作正常?
可以肯定的没问题的。
Hadoop的一个特性是线性增长特性,即当前数量情况下,处理时间是1,若是数据量加倍,后处理时间加倍,若是在这种情况下,处理能力也加倍则处理时间也是1.
正常情况hadoop需要较多的服务器才能搭建,但是我们在家里学习如何去找那么服务器,解决办法可以找几台pc机,在pc机上安装linux系统就可以了。
当然我们还有更简单的办法,就是找一台高性能的电脑,在电脑上安装虚拟机软件,里面创建若干台虚拟机,然后让这些虚拟机构成一个小的内部局域网络,在这个网络上我们安装linux软件,java软件,安装hadoop程序,我们就可以创建一个简单hadoop的研究系统,进行软件的开发调试,在这个小的分布式集群上开发的程序可以无缝移植到相同版本的hadoop(不同hadoop的版本兼容性不是很好,特别是低版本同高版本,他们的api也有些许变化)集群中。
如下是在笔者笔记本上构建的一个hadoop的虚拟机系统,相关网络拓扑结构如下:
虚拟机0,机器名称:
db,ip:
192.168.186.10
虚拟机1,机器名称:
red,ip:
192.168.186.11
虚拟机2,机器名称:
mongdb,ip:
192.168.186.12
虚拟机3,机器名称:
nginx,ip:
192.168.186.13
如上图,4台虚拟机通过一个虚拟的交换机互联,开发机器也连接到这个虚拟交换机上,虚拟的交换机同adsl相连接,这样整个系统都可以直接上网了。
下面是几个虚拟机的典型配置,如下:
Db的配置,如上,这个机器的内存配置比较高,这个机器是机器的master服务器,需要较多的内存。
因此配置了1.3g内存。
下面是red的配置,mongdb及nginx的配置同这个机器配置相同,配置如下:
这个机器的配置同db机器配置相同,仅仅是内存小了些,这里内存是188m,作为调试环境已经足够用了。
二.基于vmware虚拟机环境配置
1.网卡的Ip地址配置
采用静态ip配置方式,防止重新启动后dhcp分配新的ip后,造成不必要的混乱。
配置如下:
2.Hosts文件配置
[root@db~]#cat/etc/hosts
#Donotremovethefollowingline,orvariousprograms
#thatrequirenetworkfunctionalitywillfail.
127.0.0.1localhost.localdomainlocalhost
:
:
1localhost6.localdomain6localhost6
192.168.186.10db
192.168.186.11red
192.168.186.12mongdb
192.168.186.13nginx
需要确保每一台机器的hosts文件配置如上图所示。
简便配置方法,在配置一台机器后,可以编写脚本实现自动将hosts文件复制到多台机器上。
脚本如下:
[root@db~]#catupdate_hosts.sh
#!
/bin/sh
forhostinredmongdbnginx;do
echo$host
scp/etc/hostsroot@${host}:
/etc/
done
[root@db~]#
主要这个脚本要在root下编写,然后赋予可以执行的权限(chmoda+x*.sh),然后在root权限下执行。
脚本会自动完成hosts文件的复制工作。
上面过程完成后,分别登录每一台机器,把每一个服务器都ping一下,若是不通,在仔细检查一下。
3.Java配置
在每个虚拟机服务器上检查是否正确安装了java,是否配置了java的环境变量等
如上图,1处输入java-version,然后应该输出类似2处的输出,标识java已经正确安装了
同时采用3处的命令,env|grepJAVA_HOME来检查环境变量是否正确配置了,若是没有配置java的环境变量则需要进行配置
若是您java还有安装请用下面命令安装
yuminstalljava-1.7.0-openjdk
然后用下面命令配置环境变量。
vi/etc/profile
打开编辑的文件后,在文件最后面添加如下内容
JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.25/jre
JRE_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.25/jre
PATH=$PATH:
$JAVA_HOME/bin
CLASSPATH=.:
$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
exportJAVA_HOMEJRE_HOMEPATHCLASSPATH
保存退出,最后运行下面命令,使配置生效
source/etc/profile
然后再次测试上面的过程,看看是否符合相关需要。
如果您还没做到到网络搜索一下吧。
4.ssh免登录功能配置
Hadoop通过ssh进行相关管理工作,主要是hadoop的管理脚本通过ssh远程对各个服务器进行相关的管理,包括启动,停止等。
关于如何配置ssh的免密码登录,请参考下面文章的相关部分:
Hadoop1.2.1Pseudo-Distributed伪分布模式配置
5.关闭相关的防火墙
Hadoop程序在工作过程中,各个节点间有很多程序要进行通信,因此我们需要对防火墙做些处理,保证这些访问能正常工作。
我们这里采用最简单的办法是关闭研究用集群虚拟机的全部防火墙.
在虚拟机中,启动setup程序
选择防火墙工作这一项
在下面的对话框中,选择如下特殊颜色的区域的相关选项,最后选择ok推出
6.下载hadoop程序
相关过程略。
三.配置hadoop分布式集群
1.在虚拟机db上下载hadoop程序,然后解压缩到/work/apps/hadoop目录,相信你会这个操作,不行XX一下啦。
2.配置hadoop的环境变量
进入conf目录,编辑hadoop-env.sh文件,
修改javahome的配置
JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.25/jre
注意这个配置,要同前面配置java的时候配置相同。
3.创建目录
Name目录存放namenode的hdfs目录及文件的元数据。
Data目录存放datanode的数据
4.配置core-site.xml文件
vicore-site.xml
xmlversion="1.0"?
>
xml-stylesheettype="text/xsl"href="configuration.xsl"?
>
--Putsite-specificpropertyoverridesinthisfile.-->
//db:
9000
Ifzero,thetrashfeatureisdisabled.
如何确定这个文件有哪些配置可以填写及相关含义?
这个文件对应一个默认的配置文件,在:
打开这个文件如下:
文件可以配置项目含义都在文件中了,大家慢慢参考。
注意不是在这个文件中配置的项目,若是写在了这里了,对系统没有任何作用,当然配置也是无效的。
5.配置hdfs-site.xml
输入下面命令vihdfs-site.xml
注意上面的特别注意的区域相关配置。
xmlversion="1.0"?
>
xml-stylesheettype="text/xsl"href="configuration.xsl"?
>
--Putsite-specificpropertyoverridesinthisfile.-->
建议这些目录在不同的物理磁盘,这样可以提高系统的io性能。
另外,最好能通过nfs等方式把数据写到别的服务器一份或者若干份,这样更会确保元数据完好无误的被保留。
一般一个文件的块1放到目录A,块2则放目录b等等,这样可以充分提高系统的性能。
6.配置mapred-site.xml文件
vimapred-site.xml
xmlversion="1.0"?
>
xml-stylesheettype="text/xsl"href="configuration.xsl"?
>
--Putsite-specificpropertyoverridesinthisfile.-->
9001
7.配置masters和slaves文件
查看下面两个文件的内容,如下:
masters文件中存放,secondaryserver的配置
slaves中存放的是datanode,tasktractor的服务器的列表
这个两个文件不需要分发给slaves节点,但是我们这里简便处理,在脚本中没有排除这些文件,可以通过一定的配置文件制定相关位置等。
四.测试hadoop系统
1.分发配置好的hadoop系统到各个服务器中
创建如下脚本程序
[root@dbapps]#viscp_hadoop.sh
脚本内容如下:
#!
/bin/sh
forhostinredmongdbnginx;do
echo$host
scp-r/work/apps/hadoopsch@${host}:
/work/apps/
Done
保存退出后,修改文件的可执行属性(chmoda+x*.sh)
然后在合适的帐号下执行上述脚本,脚本将已经配置好的hadoop程序拷贝到其他服务器中。
2.启动hadoop系统
进入hadoop的目录,
执行下面命令,格式化hadoop的文件系统
bin/hadoopnamenode-format格式化namenode的文件系统,如下图
然后输入bin/start-all.sh命令,启动hadoop系统,相关记录如下图:
3.验证hadoop的启动结果
输入如下命令,坚持启动的java进程
ps-ef|grepjava|awk'{print$1,$9,$11}'
这里由于安装的openjdk版本问题,没有安装好jps进程,这样只好用上面的命令临时检查一下java的进程了。
验证其他服务器的java运行情况,如下:
如上图,不同区域显示了登陆不同服务器后验证java进程的结果。
在整个过程中,发生了一些错误通过检查相关日志,然后进行专项的处理后,最后调试通过。
Hadoop毕竟不是普通的程序,不可能仅仅简单就通过,需要认真仔细的研究,练习,不断实践。
最重要的在调试工作提高自己的工作能力,提高对hadoop的理解。
附录资料:
不需要的可以自行删除
DB2安装配置学习笔记
一、DB2在unix或linux上的安装:
1、安装前准备工作
将下载的安装文件上传到待安装的LINUX机器,解压缩到某个目录,产生了一个名为Server的子目录,进入子目录,可以看到有多个可执行的脚本,其中db2prereqcheck是先决条件检查,db2setup是图形界面安装程序,db2_install是命令行方式安装。
还有一个db2目录,保存了需要安装的二进制文件。
执行db2prereqcheck,如果没有返回任何结果,表明系统符合DB2安装的先决条件,可以进入下一步安装。
如果返回信息,请按信息提示修改配置,然后再次运行,直到没有错误提示。
[root@redflag11012601app]#llv*gz
-rw-r--r--1rootroot81057639205-0319:
44v9.7_linuxx64_server.tar.gz
[root@redflag11012601app]#tarxzfv9.7_linuxx64_server.tar.gz
[root@redflag11012601app]#cdserver
[root@redflag11012601server]#ll
总计64
drwxr-xr-x6binbin40962009-11-16db2
-r-xr-xr-x1binbin53402009-11-16db2ckupgrade
-r-xr-xr-x1binbin52932009-11-16db2_deinstall
-r-xr-xr-x1binbin51632009-11-16db2_install
-r-xr-xr-x1binbin51272009-11-16db2ls
-r-xr-xr-x1binbin51452009-11-16db2prereqcheck
-r-xr-xr-x1binbin51452009-11-16db2setup
drwxr-xr-x15binbin40962009-11-16doc
-r-xr-xr-x1binbin51812009-11-16installFixPack
[root@redflag11012601server]#./db2prereqcheck
2、安装DB2数据库软件
以操作系统root用户执行db2_install,根据提示操作,设定安装目录和要安装的版本等以后,耐心等待安装任务完成。
DB2用一个安装包包括了同一操作系统平台各个版本的功能,只要在安装类型选择企业版即可,这里我们输入ESE。
要注意,由于操作系统默认语言为简体中文,安装界面也是中文提示的,而且,必须输入中文"是"才能更改安装目录。
和大多数unix下的软件一样,软件安装只是整个安装过程很小的一步,要使软件能正常工作,大量的配置和管理任务还在后头。
[root@redflag11012601server]#./db2_install
用于安装产品的缺省目录-/opt/ibm/db2/V9.7
***********************************************************
要选择另一个目录用于安装吗?
[是/否
Y
要选择另一个目录用于安装吗?
[是/否]
Yes
要选择另一个目录用于安装吗?
[是/否]
是
输入安装目录的完整路径名-
-----------------------------------------------
/user1/ibm/db2/V9.7
指定下列其中一个关键字以安装DB2产品。
ESE--企业版
CONSV
WSE--工作组版
EXP--易捷版
PE--个人版
CLIENT
RTCL
按“帮助”以重新显示产品名称。
按“退出”以退出。
***********************************************************
ESE
正在初始化DB2安装。
要执行的任务总数为:
47
要执行的所有任务的总估计时间为:
2070
任务#1启动
描述:
正在检查许可协议的接受情况
估计时间1秒
任务#1结束
任务#47启动
描述:
正在注册DB2更新服务
估计时间30秒
任务#47结束
任务#48启动
描述:
正在更新全局概要文件注册表
估计时间3秒
任务#48结束
已成功完成执行。
有关更多信息,请参阅"/tmp/db2_install.log.27290"上的DB2安装日志。
3、注册license
本安装因为是评估版无须这一步。
用户可以在90天内完全测试全部功能。
对于购买了企业版等版本license的用户,需要注册license才能长期使用。
4、创建DB2运行所需要的用户组和用户
DB2没有独立的用户管理系统,必须借用OS用户来提供安全性认证,所以这里需要创建LINUX用户和组。
一共创建了3个组,每个组一个用户。
其作用和含义分别是:
数据库管理服务器DAS用户dasusr1组名:
dasadm1
管理实例的用户db2inst1组名:
db2iadm1
受防护用户db2fenc1组名:
db2fadm1
其中管理实例的用户db2inst1是最常用的,我们为它设置口令db2,以便下面步骤的正常操作。
创建完成后,执行如下命令查看/etc/group和/etc/passwd,检查用户组和用户是否创建成功。
[root@redflag11012602server]#groupadd-g901db2grp
[root@redflag11012602server]#groupadd-g902db2fgrp
[root@redflag11012602server]#groupadd-g903db2agrp
[root@redflag11012602server]#useradd-gdb2grp-u801-d/home/db2inst1-m-s/bin/shdb2inst1
[root@redflag11012602server]#useradd-gdb2fgrp-u802-d/home/db2fenc-m-s/bin/shdb2fenc
[root@redflag11012602server]#useradd-gdb2agrp-u803-d/home/db2das-m-s/bin/shdb2das
[root@redflag11012602server]#passwddb2inst1
Changingpasswordforuserdb2inst1.
NewUNIXpassword:
BADPASSWORD:
itisWAYtooshort
RetypenewUNIXpassword:
passwd:
allauthenticationtokensupdatedsuccessfully.
[root@redflag11012602server]#more/etc/group|grepdb2
db2grp:
x:
901:
db2fgrp:
x:
902:
db2agrp:
x:
903:
[root@redflag11012602server]#more/etc/passwd|grepdb2
db2inst1:
x:
801:
901:
:
/home/db2inst1:
/bin/sh
db2fenc:
x:
802:
902:
:
/home/db2fenc:
/bin/sh
db2das:
x:
803:
903:
:
/home/db2das:
/bin/sh
5、创建实例
需要以root用户创建das和实例。
分别用下面2个命令:
dascrt创建的是DB2adminstrationserver,每台服务器只有一个这种server,为进行DB2管理(比如运行控制中心)所必须,同时指定其管理用户是db2das;
db2icrt创建的是实例,其名字一般和管理用户名一样,这里均为db2inst1;
创建成功以后,系统在db2das和db2inst1相应的home目录下产生了一个子目录。
/home/db2inst1/sqllib目录中包括了一个db2profile文件,包括了设定各
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- vmware 虚拟机 hadoop 集群 安装 过程
文档标签
- VMware虚拟机通过PE
- VMWare虚拟机安装GHOST
- 如何VMWare虚拟机安装
- VMware虚拟机安装linux
- 虚拟机VMware安装LinuxFedora16
- 虚拟机VMware安装图文
- 虚拟机安装过程
- Vmware虚拟机下Ubuntu804安装Vmware虚拟机
- VMware虚拟架构群集
- VMware虚拟机安装配置
- VM80虚拟机下载安装
- SUSE11SP2LINUX系统安装Informix过程系统
- 虚拟机vmware10免安装windowsxp图文全教程虚拟机
- vmware安装centos5图文
- VirtualBox虚拟机安装Fedora15图文教程VirtualBox虚拟机
- Vmware虚拟机全程图解