Hadoop环境搭建
时间:2015-07-26
作者:周乐相
环境搭建之前准备工作
我的笔记本配置:
硬盘:500G (实际上用不完)
CPU: Intel(R)Core(TM) i5-2450M CPU@ 2.50GHz
内存:10G
操作系统:WIN7(64位)
软件准备
1). 虚拟机软件:vmwareworkstation64.exe (VMware work station 64bit V 11.0)
2).Linux 版本: Red HatEnterprise Linux Server releas
e 6.5 (Santiago) (rhel-server-6.5-x86_64-dvd.iso)
3).hadoop 版本: hadoop-2.6.0.tar.gz
4). JAVA版本:java version"1.6.0_32"(jdk-6u32-linux-x64.bin)
安装VMware软件
傻瓜操作下一步。。。。。。
安装Linux操作系统
傻瓜操作下一步。。。。。
安装完成。
1).创建hadoop操作系统安装hadoop的用户第一台操作系统命主机名为: master
2)拷贝该虚拟机master 分别为node01 、node02两个节点数
3) 分别对拷贝的node01、node02 修改IP和主机名称主机名: IP
master: 192.168.2.50
node01:192.168.2.51
node02: 192.168.2.52
jdk安装
并设置好环境变量
##设置JAVA_HOME环境变量
配置ssh 免密码通信
三台服务器SSH关系
上面这个图可以表达这三台服务器之间的关系。
对master主节点SSH配置
执行:ssh-keygen–t dsa 回车一直回车下去会在$HOME/.ssh目录生成id_dsa和id_dsa.pu b两个文件
将id_dsa.pub文件放到authorized_keys文件,注意需要修改权限chmod 600 authorized_keys
依次将node01、node02两台的密码追加到authorized_keys 文件里面
对nod e01节点SSH配置
这样master与node01就可以正常的互通无需密码对node02节点SSH配置
这样master与node02就可以正常的互通无需密码Hadoop安装配置
修改配置文件
用红线框起来的都需要修改配置
修改:mapred-site.xml
修改:yarn-site.xml
修改:hadoop-env.sh
修改:mapred-env.sh
修改:yarn-env.sh
修改:master&slaves
创建空文件夹
节点数据拷贝
对节点node01、node02数据文件拷备
在master节点格式化
Hadoop启动&停止Hadoop启动
后台查看