educoder平台hadoop开发环境搭建
《一》配置开发环境- JavaJDK的配置
mkdir /app
回车
cd /opt
回车
ll
回车
tar -zxvf jdk-8u171-linux-x64.tar.gz
回车
mv jdk1.8.0_171/ /app
回车
vim /etc/profile
在最低下按i复制粘贴下面代码
JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
退出wq
source /etc/profile
回车
java -version
测评
*******************************************************************************《二》配置开发环境- Hadoop安装与伪分布式集群搭建
cd /opt
回车
ls
回车
echo $JAVA_HOME
回车
ls /app
回车
ls
回车
mkdir /app
回车
cp * /app
回车
cd /app
回车
ls
回车
tar -zxvf hadoop-3.1.0.tar.gz
ls
tar -zxvf jdk-8u171-linux-x64.tar.gz
回车
ls
回车
mv hadoop-3.1.0 hadoop3.1
回车
cd jdk1.8.0_171/
回车
pwd
回车
vim /etc/profile
最底下按i复制
export JAVA_HOME=/app/jdk1.8.0_171
export HADOOP_HOME=/app/hadoop3.1
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
退出wq
source /etc/profile
回车
java -version
回车
cd /app
回车
ssh-keygen -t rsa -P ''
按回车
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
回车
chmod 600 ~/.ssh/authorized_keys
回车
vim /etc/ssh/sshd_config
找到#AuthorizedKeysFile %h/.ssh/authorized_keys把#删除
退出wq
cd /app/hadoop3.1/etc/hadoop/
回车
vim hadoop-env.sh
找到# JAVA_HOME=/usr/java/testing hdfs dfs -ls这一行按i在最后面回车，添加下面代码：export JAVA_HOME=/app/jdk1.8.0_171
退出wq
vim yarn-env.sh
最底下按i回车
export JAVA_HOME=/app/jdk1.8.0_171
退出wq ————————1———————————————————————————————
vim core-site.xml
找到
然后按i在中间回车
然后:wq —————————2——————————————————————————————vim hdfs-site.xml
找到
然后按i在中间回车
然后:wq ——————————3————————————————————————————vim mapred-site.xml
找到
然后按i在中间回车
然后:wq
——————————4————————————————————————
vim yarn-site.xml
找到
然后按i在中间回车
然后:wq —————————————————————————————————————
cd /usr/hadoop
回车
mkdir /usr
回车
cd /usr
回车
ls
回车
mkdir hadoop
回车
cd ..
回车
mkdir /usr/hadoop/tmp
回车
mkdir /usr/hadoop/hdfs
回车
mkdir /usr/hadoop/hdfs/data
回车
mkdir /usr/hadoop/hdfs/name
回车
hadoop namenode -format
回车
start-dfs.sh
回车
cd /app/hadoop3.1/sbin
回车————————————1——————————————————————————
在#!/usr/bin/env bash后面按i回城
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
：wq ————————————2——————————————————————————vim stop-dfs.sh
在#!/usr/bin/env bash后面按i回车
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
：wq ——————————————3——————————————————————————
vim start-yarn.sh
在#!/usr/bin/env bash后面按i回车
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
：wq —————————————4—————————————————————————vim stop-yarn.sh
在#!/usr/bin/env bash后面按i回车
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
：wq ——————————————————————————————————————start-dfs.sh
回车
jps
测评