educoder平台hadoop开发环境搭建Word文档下载推荐.docx
- 文档编号:3897340
- 上传时间:2023-05-02
- 格式:DOCX
- 页数:9
- 大小:15.21KB
educoder平台hadoop开发环境搭建Word文档下载推荐.docx
《educoder平台hadoop开发环境搭建Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《educoder平台hadoop开发环境搭建Word文档下载推荐.docx(9页珍藏版)》请在冰点文库上搜索。
$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:
$PATH
exportJAVA_HOMECLASSPATHPATH
退出wq
source/etc/profile
java-version
测评
*******************************************************************************《二》配置开发环境-Hadoop安装与伪分布式集群搭建cd/opt
ls
echo$JAVA_HOME
ls/app
cp*/app
cd/app
tar-zxvfhadoop-3.1.0.tar.gz
mvhadoop-3.1.0hadoop3.1
cdjdk1.8.0_171/
pwd
最底下按i复制
exportJAVA_HOME=/app/jdk1.8.0_171
exportHADOOP_HOME=/app/hadoop3.1
export
PATH=.:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$JAVA_HOME/bin:
$PATH退出wq
ssh-keygen-trsa-P'
'
按回车
cat~/.ssh/id_rsa.pub>
>
~/.ssh/authorized_keys
chmod600~/.ssh/authorized_keys
vim/etc/ssh/sshd_config
找到#AuthorizedKeysFile%h/.ssh/authorized_keys把#删除
cd/app/hadoop3.1/etc/hadoop/
vimhadoop-env.sh
找到#JAVA_HOME=/usr/java/testinghdfsdfs-ls这一行按i在最后面回车,添加下面代码:
vimyarn-env.sh
最底下按i回车
————————1————————————————————————————————
vimcore-site.xml
找到<
configuration>
<
/configuration>
然后按i在中间回车
property>
name>
fs.default.name<
/name>
value>
hdfs:
//localhost:
9000<
/value>
description>
HDFS的URI,文件系统:
//namenode标识:
端口号<
/description>
/property>
hadoop.tmp.dir<
/usr/hadoop/tmp<
namenode上本地的hadoop临时文件夹<
然后:
wq
—————————2——————————————————————————————vimhdfs-site.xml
dfs.name.dir<
/usr/hadoop/hdfs/name<
namenode上存储hdfs名字空间元数据<
dfs.data.dir<
/usr/hadoop/hdfs/data<
datanode上数据块的物理存储位置<
dfs.replication<
1<
——————————3————————————————————————————vimmapred-site.xml
mapreduce.framework.name<
yarn<
——————————4————————————————————————vimyarn-site.xml
yarn.nodemanager.aux-services<
mapreduce_shuffle<
yarn.resourcemanager.webapp.address<
192.168.2.10:
8099<
这个地址是mr管理界面的<
—————————————————————————————————————cd/usr/hadoop
mkdir/usr
cd/usr
mkdirhadoop
cd..
mkdir/usr/hadoop/tmp
mkdir/usr/hadoop/hdfs
mkdir/usr/hadoop/hdfs/data
mkdir/usr/hadoop/hdfs/name
hadoopnamenode-format
start-dfs.sh
cd/app/hadoop3.1/sbin
————————————1——————————————————————————vimstart-dfs.sh
在#!
/usr/bin/envbash后面按i回城
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
:
————————————2——————————————————————————vimstop-dfs.sh
/usr/bin/envbash后面按i回车
——————————————3——————————————————————————
vimstart-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
—————————————4—————————————————————————vimstop-yarn.sh
——————————————————————————————————————start-dfs.sh
jps
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- educoder 平台 hadoop 开发 环境 搭建