hadoop伪分布式环境配置步骤

1.克隆虚拟机，创建完整克隆
2.配置网络环境
2.1查看主机名
hostname
2.2查看主机IP地址
ifconfig
2.3查看指令hostnamectl的使用
man hostnamectl
2.4修改IP地址和主机名
hostnamectl set-hostname s2Clone1
2.5修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改：IPADDR和GATEWAY
2.6重新启动网络服务
systemctl restart network.service
2.7查看网络服务
systemctl status network.service
2.8查看主机IP地址
ifconfig
2.9按照以上步骤，配置s2Clone2的IP地址和主机

3.远程登录，修改主机和IP的映射关系
说明：此处可以理解为本地的域名解析
A.windows操作系统也有对应文件：c:/windows/System32/drivers/etc/hosts
B.在dos中ping 192.168.81.91，通畅；再ping s2Clone1，不通
C.在c:/windows/System32/drivers/etc/hosts文件中增加：192.168.81.91 s2Clone1
D.再ping s2Clone1，通畅

3.1使用SecureCRT登录s2Clone1,s2Clone2
说明：A. SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，简单地说是Windows下登录UNIX或Linux服务器主机的软件。
B. SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层基础上的安全协议。
3.2进入s2Clone1、s2Clone2，修改/etc/hosts
vim /etc/hosts
内容：192.168.81.91 s2Clone1
192.168.81.92 s2Clone2
3.3在s2Clone1,发指令 ping s2Clone2，能ping通
在s2Clone2,发指令 ping s2Clone1，能ping通

4.关闭防火墙
4.1停止防火墙firewall
systemctl stop firewalld.service
4.2禁止防火墙firewall开机启动
systemctl disable firewalld.service
4.2查看防火墙firewall状态，关闭后显示not running，开启后显示running
firewall-cmd --state

5.重启linux（可以不重启）

6.安装JDK（已安装，未安装参考安装文档）
6.1创建文件夹/usr/java
mkdir /usr/java -p
6.2上传jdk-8u121-linux-arm64-vfp-hflt.tar.gz
直接把D:\ACCP8.0软件\Linux\jdk-8u121-linux-arm64-vfp-hflt.tar.gz拖拽到SecureCRT的s2Clone1的/usr下，选择send Zmodem
6.3解压(在/usr目录下解压)(tar指令的四个参数 x : 从 tar 包中把文件提取出来 z : 表示 tar 包是被 gzip 压缩过的，所以解压时需要用 gunzip 解压
v : 显示详细信息 f xxx.tar.gz : 指定被处理的文件是 xxx.tar.gz)
tar -zxvf jdk-8u121-linux-arm64-vfp-hflt.tar.gz -C /usr/java/
6.4把java添加到环境变量中
6.4.1 vim /etc/profile
6.4.2 在文件最后添加
export JAVA_HOME=/usr/java/jdk1.8.0_111
export PATH=$PATH:$JAVA_HOME/bin
6.5刷新配置
source /etc/profile

7.安装hadoop2.7.3
7.1把已安装的hadoop改名(如果原来没有安装hadoop就可以忽略此步操作)
mv /usr/hadoop/ /usr/hadoop-bak/
7.2上传hadoop2.7.3
直接把e:/java/hadoop-2.7.3.tar.gz拖拽到SecureCRT

的s2Clone1的/usr下，选择send Zmodem
7.3解压hadoop-2.7.3.tar.gz(在/usr目录下解压)
tar -zxvf hadoop-2.7.3.tar.gz
7.4删除hadoop-2.7.3.tar.gz
rm -r -f /usr/hadoop-2.7.3.tar.gz
7.5把hadoop-2.7.3改名为hadoop
mv /usr/hadoop-2.7.3 /usr/hadoop

8.伪分布式环境配置,需要修改5个配置文件,以下五个配置文件在/usr/hadoop/etc/hadoop目录下
8.1修改hadoop-env.sh
vim hadoop-env.sh
修改第25行
在vi环境下显示行号
:set nu
export JAVA_HOME=/usr/java/jdk1.8.0_111
8.2修改core-site.xml
vim core-site.xml
在标签中加入以下内容:


fs.defaultFS
hdfs://s2Clone1:9000



hadoop.tmp.dir
/usr/hadoop/tmp

8.3修改hdfs-site.xml(hdfs-default.xml)
vim hdfs-site.xml
在标签中加入以下内容:


dfs.replication
1

8.4修改mapred-site.xml
把/usr/hadoop/etc/hadoop下的mapred-site.xml.template改为mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
在标签中加入以下内容:


https://www.sodocs.net/doc/b26927485.html,
yarn

8.5修改yarn-site.xml
vim yarn-site.xml
在标签中加入以下内容:


yarn.resourcemanager.hostname
s2Clone1



yarn.nodemanager.aux-services
mapreduce_shuffle


9.修改slaves文件,此文件在/usr/hadoop/etc/hadoop目录下
vim slaves
改为以下内容：
s2Clone2

10.把hadoop添加到环境变量里
10.1 vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
10.2 source /etc/profile

11.配置ssh免登陆,生成ssh免登陆密钥
11.0 在s2Clone1中登录s2Clone2，此时需要密码
ssh s2Clone2
11.1
进入到我的home目录
cd ~/.ssh
11.2
ssh-keygen -t rsa （四个回车）[RSA是目前最有影响力和最常用的公钥加密算法]
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id s2Clone1
ssh-copy-id s2Clone2
免密测试
ssh s2Clone1
ssh s2Clone2

12.拷贝hadoop到s2Clone2 下/usr/hadoop
scp -r ./hadoop root@s2Clone2:/usr/

13.验证
13.1格式化namenode（是对namenode进行

初始化）
hdfs namenode -format
13.2启动HDFS
sbin/start-dfs.sh
13.3 jps命令查看java进程
jps
13.4启动YARN
sbin/start-yarn.sh
13.5查看集群状态
bin/hdfs dfsadmin -report
13.6在宿主机的浏览器中查看HDFS运行状态,网址：http://s2Clone1:50070
13.7停止hadoop(先不执行此命令)
sbin/stop-all.sh
14.运行Hadoop的WordCount程序
14.1进入/usr目录
cd /usr
14.2创建文件夹file
mkdir /usr/file
14.3进入/usr/file目录，新建文件file1.txt,file2.txt
vim file1.txt
输入：Hello World hi HADOOP
vim file2.txt
输入：Hello hadoop hi CHINA
14.4启动HDFS后,创建HDFS目录/input2:
进入hadoop目录,执行以下命令:
bin/hadoop fs -mkdir /input2
14.5把file1.txt、file2.txt保存到HDFS中：
bin/hadoop fs -put /usr/file/file*.txt /input2/
14.6查看HDFS上是否已经存在file1.txt、file2.txt
bin/hadoop fs -ls /input2
14.7执行hadoop示例中的WordCount程序
进入hadoop目录,执行以下命令:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input2/ /output2/wordcount1
14.8查看统计结果(看到统计结果表示已经成功安装了Hadoop)
bin/hadoop fs -cat /output2/wordcount1/*

15.停止hadoop
sbin/stop-all.sh