hadoop + zookeeper +hive + hbase安装学习-12页文档资料
伪分布式安装Hadoop+zookeeper+hive+hbase安装配置
1.安装JDK,配置环境JAVA环境变量
export JAVA_HOME=/usr/lib/java-1.6.0/jdk1.6.0_37
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_INSTALL=/usr/hadoop/hadoop-1.0.3
export PATH=$PATH:$HADOOP_INSTALL/bin
export JAVA_HOME=/user/local/jdk1.6.0_27
export JRE_HOME=/user/local/jdk1.6.0_27/jre
export ANT_HOME=/user/local/apache-ant-1.8.2
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
2.安装Hadoop-1.0.3
2.1.下载hadoop文件，地址为：https://www.sodocs.net/doc/6917594990.html,/coases.html，下载完
成后解压hadoop-1.0.3.tar.gz
sudo tar -xzf hadoop-1.0.3.tar.gz
2.2.配置Hadoop环境变量
export HADOOP_INSTALL=/user/local/hadoop-1.0.3
export PATH=$PATH:$HADOOP_INSTALL/bin
激活profile文件：
[root@localhost etc]# chmod +x profile
[root@localhost etc]# source profile
[root@localhost etc]# hadoop version
2.3.查看hadoop版本
[root@localhost ~]# hadoop version
Hadoop 1.0.3
Subversion
https://https://www.sodocs.net/doc/6917594990.html,/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192
Compiled by hortonfo on Tue May 8 20:31:25 UTC 2012
From source with checksum e6b0c1e23dcf76907c5fecb4b832f3be
输入 hadoop version命令后输入下图，则安装hadoop成功
2.4.修改配置文件
a)解压hadoop-1.0.3/hadoop-core-1.0.3.jar
b)去解压后的hadoop-core-1.0.3文件夹下,复制文件core-default.xml，hdfs-default.xml，mapred-default.xml三个文件到hadoop-1.0.3/conf/下,删除hadoop-1.0.3/conf/文件夹下的core-site.xml，hdfs-site.xml，mapred-site.xml，将复制过来的三个文件的文件名中的default修改为site
c)在hadoop-1.0.3文件夹同级创建文件夹hadoop，打开core-site.xml文件,修改属性节点下的name节点为hadoop.tmp.dir对应的value节点，修改为/user/local/${https://www.sodocs.net/doc/6917594990.html,}/hadoop/hadoop-${https://www.sodocs.net/doc/6917594990.html,}，这样hadoop生成的文件会放入这个文件夹下.修改name节点为https://www.sodocs.net/doc/6917594990.html,对应的value节点，修改为hdfs://localhost:9000/
打开mapred-site.xml文件，修改property节点下name为mapred.job.tracker对应的的value，改为：localhost:9001
3.安装ssh
1.执行命令安装ssh：sudo apt-get install ssh
2.基于空口令创建一个新SSH密钥，以启用无密码登陆
a)ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
执行结果：
b)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3.测试
ssh localhost
测试结果：
输入yes
再次输入ssh localhost：
成功之后，就不需要密钥
4.格式化HDFS文件系统
输入指令:
hadoop namenode –format
[root@localhost ~]# hadoop namenode –format
13/07/17 14:26:41 INFO https://www.sodocs.net/doc/6917594990.html,Node: STARTUP_MSG:
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost.localdomain/127.0.0.1
STARTUP_MSG: args = [–format]
STARTUP_MSG: version = 1.0.3
STARTUP_MSG: build =
https://https://www.sodocs.net/doc/6917594990.html,/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled by 'hortonfo' on Tue May 8 20:31:25 UTC 2012
Usage: java NameNode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
13/07/17 14:26:41 INFO https://www.sodocs.net/doc/6917594990.html,Node: SHUTDOWN_MSG:
SHUTDOWN_MSG: Shutting down NameNode at localhost.localdomain/127.0.0.1
5.启动和终止守护进程
启动和终止HDFS和MapReduce守护进程，键入如下指令
启动start-all.sh(start-dfs.sh,start-mapred.sh)
出错了，JAVA_HOME is not set
需要修改文件，打开hadoop-1.0.3/conf/ hadoop-env.sh
将红线以内部分注释解开,修改为本机JAVA_HOME
再次执行启动命令start-all.sh
停止stop-all.sh(stop-dfs.sh,stop-mapred.sh)
到此，hadoop就已经安装完成了
6.Hadoop文件系统
6.1.查看hadoop所有块文件
执行命令:
hadoop fsck / -files –blocks
执行结果:
此结果显示，hadoop文件系统中，还没有文件可以显示
本机出错，出错原因：datanode没有启动，具体见evernote笔记。
[root@localhost ~]# hadoop fsck / -files –blocks
13/07/17 14:44:15 ERROR https://www.sodocs.net/doc/6917594990.html,erGroupInformation: PriviledgedActionException as:root cause:java.ConnectException: Connection refused
Exception in thread "main" java.ConnectException: Connection refused
at java.PlainSocketImpl.socketConnect(Native Method)
at java.PlainSocketImpl.doConnect(PlainSocketImpl.java:351)
at java.PlainSocketImpl.connectToAddress(PlainSocketImpl.java:211) at java.PlainSocketImpl.connect(PlainSocketImpl.java:200)
at java.SocksSocketImpl.connect(SocksSocketImpl.java:366)
at java.Socket.connect(Socket.java:529)
at java.Socket.connect(Socket.java:478)
at sunworkClient.doConnect(NetworkClient.java:163)
at sun.http.HttpClient.openServer(HttpClient.java:388)
at sun.http.HttpClient.openServer(HttpClient.java:523)
at sun.http.HttpClient.
at sun.http.HttpClient.New(HttpClient.java:300)
at sun.http.HttpClient.New(HttpClient.java:317)
at
sun.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.jav a:970)
at
sun.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:91 1)
at
sun.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:836)
at
sun.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java: 1172)
at org.apache.hadoop.hdfs.tools.DFSck$1.run(DFSck.java:141)
at org.apache.hadoop.hdfs.tools.DFSck$1.run(DFSck.java:110)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at
https://www.sodocs.net/doc/6917594990.html,erGroupInformation.doAs(UserGroupInformation. java:1121)
at org.apache.hadoop.hdfs.tools.DFSck.run(DFSck.java:110)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at org.apache.hadoop.hdfs.tools.DFSck.main(DFSck.java:182)
[root@localhost ~]#
6.2.将文件复制到hadoop文件系统中
a)在hadoop文件系统中创建文件夹,执行命令：
hadoop fs -mkdir docs
b)复制本地文件到hadoop文件系统中执行命令：
hadoop fs -copyFromLocal docs/test.txt \
hdfs://localhost:9000/user/docs/test.txt
c)复制hadoop文件系统中的文件回本地,并检查是否一致
复制:hadoop fs -copyToLocal docs/test.txt docs/test.txt.bat
检查:md5 docs/test.txt docs/text.txt.bat
检查结果若显示两个md5加密值相同，则文件内容相同。
d)查看HDFS文件列表
执行命令:
hadoop fs –ls
执行结果：
e)再次查看文件系统文件块
执行命令：
hadoop fsck / -files –blocks
执行结果如图:
此处为文件备份数量，可以调整，打开hadoop-1.0.3/conf/ hdfs-site.xml文件,此处修改文件备份数量
7.安装zookeeper
7.1.准备
zookeeper-3.4.3.tar.gz
下载地址：
http://apache.etoak/zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz
7.2.安装zookeeper
执行命令：tar –xzf zookeeper-3.4.3.tar.gz解压安装文件
7.3.环境变量
执行sudo vim /etc/profile
打开后加入
export ZOOKEEPER_HOME=/user/local/zookeeper-3.4.3
export PATH=$PATH:$ZOOKEEPER_HOME/bin
执行命令 source /etc/profile 让环境变量生效
7.4.配置zookeeper
打开zookeeper /conf/zoo.cfg
###以下是文件内容
#zookeeper基本时间单元（毫秒）
tickTime=2000
#zookeeper存储持久数据的本地文件系统位置
dataDir=/user/local/xxx/zookeeper
#zookeeper用户监听客户端连接的端口
clientPort=2181
###文件内容结束
将$ZOOKEEPER_HOME/zookeeper-3.4.3.jar复制到
$HADOOP_INSTALL/lib目录下
换到 zookeeper/bin/目录下
执行./zkServer.sh start
执行./zkServer.sh status ，
echo stat | nc –q 1 localhost，
echo stat | nc localhost 2181 查看状态
执行 echo ruok | nc localhost 2181
执行结果为 imok 是I am ok的意思表示安装并启动成功
关闭zookeeper
./zkServer.sh stop
8.安装Hive
8.1.准备
hive-0.9.0.tar.gz
下载地址：
http://fayea/apache-mirror/hive/hive-0.9.0/hive-0.9.0.tar.gz 8.2.安装hive
执行命令 tar –xzf hive-0.9.0.tar.gz解压安装文件
8.3.环境变量
执行sudo vim /etc/profile
打开后加入
export HIVE_HOME=/user/local/hbase-0.94.1
export PATH=$PATH:$HIVE_HOME/bin
执行命令 source /etc/profile 让环境变量生效
8.4.配置hive
进入$HIVE_HOME/bin下打开文件 hive-conf.sh插入三行
export HIVE_HOME=`dirname "$bin"`
export HADOOP_INSTALL=/user/local/hadoop-1.0.3
export JAVA_HOME=/user/local/ jdk1.6.0_26
关闭文件后执行命令 ./hive shell 进入hive的shell模式
执行命令“show tables;”
hive语句后面必须跟随一个”;”不然命令无法执行，执行结果如下：
安装成功
Hive的语法和mysql的差不多，这里就不多写了
9.安装hbase
9.1.准备
hbase-0.94.1.tar.gz
下载地址：
http://labs.mop/apache-mirror/hbase/hbase-0.94.1/hbase-0.94.1.tar.gz
9.2.安装hbase
执行命令 tar –xzf hbase-0.94.1.tar.gz解压安装文件
9.3.环境变量
执行sudo vim /etc/profile
打开后加入
export HBASE_HOME=/user/local/hbase-0.94.1
export PATH=$PATH:$HBASE_HOME/bin
执行命令 source /etc/profile 让环境变量生效
9.4.配置hbase
9.4.1.打开hbase/conf/hbase-env.sh 加入如下内容
export JAVA_HOME=/user/local/jdk1.6.0_26
export HBASE_MANAGERS_ZK=false
export HBASE_HOME=/user/local/hbase-0.94.1
export HADOOP_INSTALL=/user/local/hadoop-1.0.3
修改HBASE_OPTS为：
export HBASE_OPTS="$HBASE_OPTS -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"
9.4.2.打开hbase/conf/hbase-site.xml加入如下内容
打开regionservers文件放入localhost
将$HBASE_HOME/ hbase-0.94.1.jar复制到$HADOOP_INSTALL/lib下
重新启动hadoop 执行start-all.sh
转入hbase/bin/目录下
执行./start-hbase.sh 脚本,启动hbase
9.4.3.跟踪日志
进入hbase日志追踪，进入$HBASE_HOME/logs，执行命令：
tail - f hbase-master.log
如果启动一直出现下图所示日志，表示hadoop在安全模式下，需要关闭hadoop安全模式，
9.4.4.关闭hadoop安全模式命令：
hadoop dfsadmin -safemode leave
关闭后，hbase会将会正常启动
9.4.5.启动成功后执行hbase shell进去shell模式下
执行create ‘test’, ‘data’创建表。执行结果如下：
执行list查询表，执行结果如下：
这样我们就安装成功了
9.5.HBase基本命令
a)常用命令
创建表：
?create 'table','family1','family2','familyN',………
执行结果如下：
table是表名称， family(1~N)为列族名称，每个列族下面可以有很多列。
0 row(s) in 1.0660 seconds 标识此命令返回结果0行，执行时间为1.0660秒。插入数据：
?put 'table', 'row', 'family1:column', 'value'
执行结果如下：
row为行名称，family:column 代表名称为famliy的列族下名称为column的列，column为列名称，value为此行此列的值
删除表之前必须先将表禁用，否则无法删除，命令如下
?disable 'table'
?disable_all 't.*'
删除表
?drop 'table'
?drop_all 't.*'
若不禁用表，直接执行删除，会出现如下图的执行结果：
此图中红线所括中的地方显示异常信息，表示此’table’表现在在可用状态，请先禁用它。
所以我们删除表之前必须执行禁用。
表可用命令
?enable 'table'
?enable_all 't.* '
9.6.其他命令
b)查看表信息
?describe 'table'
此图中左侧可以看出表信息，表名称，表列族名称。右边有enabled，true标识此表未禁用，若为false标识此表已禁用，冻结后可用上方的解除禁用命令解除。
判断表是否被禁用：
?is_disabled 'table'
判断表是否可用：
?is_enabled 'table'
查看hbase中所有的表：
?list
查看表中数据行数
?count 'table'
追加一个列族
?alter 'table', 'famliy4', 'famliy5', 'famliyN'…..
10.hive结合hbase 使用
10.1.结合说明
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的 hql查询.hive也即做数据仓库
官方结合使用wiki地址
https://www.sodocs.net/doc/6917594990.html,/hadoop/Hive/HBaseIntegration
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handlers)，大致意思如图所示
10.2.修改配置
复制 $HBASE_HOME/hbase-0.94.1.jar , $HBASE_HOME/hbase-0.94.1-tests.jar和$ZOOKEEPER_HOME/zookeeper-3.4.3.jar
三个文件到$HIVE_HOME/lib目录下，
删除$HIVE_HOME/lib目录下的hbase-0.92.0版本的jar包
打开配置文件 $HIVE_HOME/conf/hive-site.xml
若此文件不存在，请自行创建新的，或者复制hive-default.xml 并重命名为hive-site.xml，在底部添加如下内容:
在配置文件中查找 hive.metastore.warehouse.dir 修改为hadoop仓库
hdfs://localhost:9000/hive
也可以使用本地目录，如 /usr/local/hivedata/warehouse
复制 $HIVE_HOME/conf/hive-site.xml 到 $HADOOP_INSTALL/conf目录
如果不将此配置文件复制到该目录下，将$HBASE_HOME/hbase-0.94.1.jar复制到$HADOOP_INSTALL/lib目录下
启动hadoop ，hbase
执行命令：
~$ $HIVE_HOME/bin/hive –auxpath $HIVE_HOME/lib/hive-hbase-handler-0.8.1.jar,
$HIVE_HOME/lib/hbase-0.92.1.jar, $HIVE_HOME/lib/zookeeper-3.4.3.jar -hiveconf hbase.master=localhost:60000
创建表：
?CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("https://www.sodocs.net/doc/6917594990.html," = "xyz");
若出现下图错误：
则需要将$HBASE_HOME/lib/protobuf-java-2.4.0a.jar 复制到 $HIVE_HOME/lib下
面
~$ cp $HBASE_HOME/lib/protobuf-java-2.4.0a.jar $HIVE_HOME/lib
复制完后再次执行创建表命令，执行结果如下：
创建成功后，退出hive 的shell 模式，进入hbase的shell模式
执行 ~$ $HBASE_HOME/bin/hbase shell , 进入后，执行命令查询表
?list
箭头所指是刚才在 hive 模式下创建的后对应过来的表 xyz, 因为是刚创建的所以这个表示空的，执行:
?scan 'xyz'
执行下个命令，我们可以看到表的信息
?describe 'xyz'
下来用回到hive，执行之前进入hive shell模式的命令，进入后创建一张，
?create table temp(a int, b string);
导入一个文件的数据
?LOAD DATA LOCAL INPATH '/tmp/test.txt' OVERWRITE INTO TABLE temp;
将数据放入hbase_table_1中
?insert overwrite table hbase_table_1 select a, b from temp limit 1;
查询数据
?select * from hbase_table_1;
结果如下：
11.Eclipse结合MapReduce
11.1.准备
Eclipse IDE version=3.7
org.apache.hadoop.eclipse.merit_1.1.0.jar
将org.apache.hadoop.eclipse.merit_1.1.0.jar复制到eclipse安装目录的Plugin 目录下
启动hadoop，start-all.sh
启动eclipse
11.2.配置MapReduce
点击菜单栏的Window preferences Hadoop Map/Reduce
配置hadoop目录
11.3.打开MapReduce视图
打开IDE的Window ShowView Other
打开Map/Reduce Locations
在视图中创建一个新的Hadoop Location
将Map/Reduce Master(Job Tracker的IP和端口)中的配置，Host和Port修改为配置文件hadoop-1.0.3/conf/mapred-site.xml中的mapred.job.tracker属性的值
选中DFS Master(Name Node的IP和端口)，配置其中Host和Port，修改为配置文件hadoop-1.0.3/conf/core-site.xml中的https://www.sodocs.net/doc/6917594990.html,属性的值
username 默认的就行了，
点击finish
项目栏出现树状菜单，标识设置成功
这样就可以在eclipse中使用hadoop的文件系统了
11.4.创建Map/Reduce项目
File New Other
输入Map/Reduce Project next
输入项目名称finish
创建成功
创建Mapper和Reduce类，
Mapper的创建：
选中项目中的包，右键New Other
输入Mapper Next
输入类名finish，该类自动继承
org.apache.hadoop.mapred.MapReduceBase这个类
Reduce的创建和Mapper是一样的
最后导入WordCount这个类此类位置
从hadoop自带的$HADOOP_HOME/src/examples/org/apache/hadoop examples/ WordCount.java
将此文件copy到刚创建的MapReduce项目中
11.5.运行WordCount
点击项目右键Run As Run on Hadoop
输入WordCount点击OK
选中刚刚配置的Map/Reduce Location点击finish
控制台输出
这个表示缺少两个参数
点击RunConfigurations,选中Arguments
编写两个参数，一个输入文件所在目录，一个输出文件所在目录，输出文件所在目录项目会自动帮我们创建，输入文件目录需要我们自己手动创建.
首先在local创建一个文件夹，再创建两个或两个以上文件
a)mkdir input
b)cd input
c)touch file1
d)touch file2
e)打开文件1 vim file1，输入”Hello World”, 打开文件2 vim file2
输入”Hello Hadoop”
f)cd ..
g)将input文件夹下的文件放入hadoop文件系统中hadoop fs –put input input
h)在Arguments中的Program arguments中输入两个参数，一个输入文件夹，一个输出文件夹，/user/root/input /user/root/output,输出文件夹项目会帮我们创建i)再次运行项目
这样证明项目正常运行了
j)刷新eclipse中的文件系统目录
展开目录
k)双击part-r-00000
这样表示input文件夹下的所有文件包含内容信息
希望以上资料对你有所帮助，附励志名言3条：
1、理想的路总是为有信心的人预备着。
2、最可怕的敌人，就是没有坚强的信念。——罗曼·罗兰
3、人生就像爬坡，要一步一步来。——丁玲
LVS keepalived负载均衡高可用 配置安装大全
LVS+Keepalived实现高可用集群 一、基础介绍 (2) 二、搭建配置LVS-NA T模式 (2) 三、搭建配置LVS-DR模式 (4) 四、另外一种脚本方式实现上面LVS-DR模式 (6) 五、keepalived + LVS(DR模式) 高可用 (8) 六、Keepalived 配置文件详细介绍 (11)
一、基础介绍 (一)根据业务目标分成三类： High Availability 高可用 Load Balancing 负载均衡 High Performance 高性能 (二)实现集群产品： HA类： rhcs、heartbeat、keepalived LB类： haproxy、lvs、nginx、f5、piranha HPC类： https://www.sodocs.net/doc/6917594990.html,/index/downfile/infor_id/42 (三)LVS 负载均衡有三种模式： LVS-DR模式（direct router）直接路由模式 进必须经过分发器，出就直接出 LVS-NAT模式（network address translation） 进出必须都经过分发器 LVS-TUN模式（ip tunneling）IP隧道模式 服务器可以放到全国各地 二、搭建配置LVS-NAT模式 1 、服务器IP规划： DR服务器添加一张网卡eth1，一个网卡做DIP，一个网口做VIP。 设置DIP、VIP IP地址: DIP的eth1和所有RIP相连同一个网段 CIP和DIP的eth0(Vip)相连同一个网段 Vip eth0 192.168.50.200 Dip eth1 192.168.58.4 客户机IP： Cip 192.168.50.3
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置Hadoop 集群，默认读者已经掌握了Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。 本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。 为了方便新手入门，我们准备了两篇不同系统的Hadoop 伪分布式配置教程。但其他Hadoop 教程我们将不再区分，可同时适用于Ubuntu 和CentOS/RedHat 系统。例如本教程以Ubuntu 系统为主要演示环境，但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。 环境 本教程使用Ubuntu 14.04 64位作为系统环境，基于原生Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何Hadoop 2.x.y 版本，例如Hadoop 2.7.1，Hadoop 2.4.1 等。 本教程简单的使用两个节点作为集群环境: 一个作为Master 节点，局域网IP 为192.168.1.121；另一个作为Slave 节点，局域网IP 为192.168.1.122。 准备工作 Hadoop 集群的安装配置大致为如下流程: 1.选定一台机器作为Master 2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境 3.在Master 节点上安装Hadoop，并完成配置 4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境 5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上 6.在Master 节点上开启Hadoop 配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍，请前往查看，不再重复叙述。 继续下一步配置前，请先完成上述流程的前 4 个步骤。 网络配置 假设集群所用的节点都位于同一个局域网。 如果使用的是虚拟机安装的系统，那么需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连，例如在VirturalBox 中的设置如下图。此外，如果节点的系统是在虚拟机中直接复制的，要确保各个节点的Mac 地址不同（可以点右边的按钮随机生成MAC 地址，否则IP 会冲突）：
hadoop集群完整配置过程详细笔记
本文为笔者安装配置过程中详细记录的笔记 1．下载hadoop hadoop-2.7.1.tar.gz hadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库 2．准备环境 Centos6.4 64位，3台 hadoop0 192.168.1.151namenode hadoop1 192.168.1.152 datanode1 Hadoop2 192.168.1.153 datanode2 1）安装虚拟机： vmware WorkStation 10，创建三台虚拟机，创建时，直接建立用户ha,密码111111.同时为root密码。网卡使用桥接方式。 安装盘 、 2). 配置IP.创建完成后，设置IP,可以直接进入桌面，在如下菜单下配置IP,配置好后，PING 确认好用。 3)更改三台机器主机名 切换到root用户，更改主机名。 [ha@hadoop0 ~]$ su - root Password: [root@hadoop0 ~]# hostname hadoop0 [root@hadoop0 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 以上两步后重启服务器。三台机器都需要修改。 4）创建hadoop用户 由于在创建虚拟机时，已自动创建，可以省略。否则用命令创建。
5）修改hosts文件 [root@hadoop0 ~]# vi /etc/hosts 127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 192.168.1.151 hadoop0 192.168.1.152 hadoop1 192.168.1.153 hadoop2 此步骤需要三台机器都修改。 3．建立三台机器间，无密码SSH登录。 1）三台机器生成密钥，使用hadoop用户操作 [root@hadoop0 ~]# su– ha [ha@hadoop0 ~]$ ssh -keygen -t rsa 所有选项直接回车，完成。 以上步骤三台机器上都做。 2）在namenode机器上，导入公钥到本机认证文件 [ha@hadoop0 ~]$ cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys 3）将hadoop1和hadoop2打开/home/ha/.ssh/ id_rsa.pub文件中的内容都拷贝到hadoop0的/home/ha /.ssh/authorized_keys文件中。如下： 4）将namenode上的/home/ha /.ssh/authorized_keys文件拷贝到hadoop1和hadoop2的/home/ha/.ssh文件夹下。同时在三台机器上将authorized_keys授予600权限。 [ha@hadoop1 .ssh]$ chmod 600 authorized_keys 5）验证任意两台机器是否可以无密码登录，如下状态说明成功，第一次访问时需要输入密码。此后即不再需要。 [ha@hadoop0 ~]$ ssh hadoop1 Last login: Tue Aug 11 00:58:10 2015 from hadoop2 4．安装JDK1.7 1）下载JDK（32或64位），解压 [ha@hadoop0 tools]$ tar -zxvf jdk-7u67-linux-x64.tar.gz 2）设置环境变量（修改/etx/profile文件）， export JAVA_HOME=/usr/jdk1.7.0_67 export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 3）使环境变量生效，然后验证JDK是否安装成功。
Hadoop集群MYSQL的安装指南
前言 本篇主要介绍在大数据应用中比较常用的一款软件Mysql，我相信这款软件不紧紧在大数据分析的时候会用到，现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用，而且现在正慢慢的壮大中。 在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是：1、写程序利用 mapper-Reducer的算法平台进行分析；2、利用Hive组件进行书写Hive SQL进行分析。 第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了，这也是本篇最主要讲解的。 技术准备 VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++ 软件下载 我们需要从Mysql官网上选择相应版本的安装介质，官网地址如下： MySQL下载地址：https://www.sodocs.net/doc/6917594990.html,/downloads/
默认进入的页面是企业版，这个是要收费的，这里一般建议选择社区开源版本，土豪公司除外。
然后选择相应的版本，这里我们选择通用的Server版本，点击Download下载按钮，将安装包下载到本地。 下载完成，上传至我们要安装的系统目录。 这里，需要提示下，一般在Linux系统中大型公用的软件安装在/opt目录中，比如上图我已经安装了Sql Server On linux，默认就安装在这个目录中，这里我手动创建了mysql目录。 将我们下载的MySQL安装介质，上传至该目录下。
安装流程 1、首先解压当前压缩包，进入目录 cd /opt/mysql/ tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar 这样，我们就完成了这个安装包的解压。 2、创建MySql超级管理用户 这里我们需要单独创建一个mySQL的用户，作为MySQL的超级管理员用户，这里也方便我们以后的管理。 groupaddmysql 添加用户组 useradd -g mysqlmysql 添加用户 id mysql 查看用户信息。
hadoop2.7.2 伪分布式安装
hadoop：建立一个单节点集群伪分布式操作 安装路径为：/opt/hadoop-2.7.2.tar.gz 解压hadoop: tar -zxvf hadoop-2.7.2.tar.gz 配置文件 1. etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.8 2. etc/hadoop/core-site.xml
通过LVS+Keepalived搭建高可用的负载均衡集群系统
1、安装LVS软件 （1）安装前准备 操作系统：统一采用Centos5.3版本，地址规划如下： 更详细的信息如下图所示： 图中的VIP指的是虚拟IP地址，还可以叫做LVS集群的服务IP，在DR、TUN模式中，数据包是直接返回给用户的，所以，在Director Server上以及集群的每个节点上都需要设置这个地址。此IP在Real Server上一般绑定在回环地址上，例如lo:0，同样，在Director Server 上，虚拟IP绑定在真实的网络接口设备上，例如eth0:0。 各个Real Server可以是在同一个网段内，也可以是相互独立的网段，还可以是分布在internet上的多个服务器.
（2）安装操作系统需要注意的事项 Centos5.3版本的Linux，内核默认支持LVS功能，为了方便编译安装IPVS管理软件，在安装操作系统时，建议选择如下这些安装包：l 桌面环境：xwindows system、GNOME desktop environment。 l 开发工具：development tools、x software development、gnome software、development、kde software development。 系统安装完毕，可以通过如下命令检查kernel是否已经支持LVS的ipvs模块： [root@localhost ~]#modprobe -l |grep ipvs /lib/modules/2.6.18-194.11.1.el5/kernel/net/ipv4/ipvs/ip_vs.ko /lib/modules/2.6.18-194.11.1.el5/kernel/net/ipv4/ipvs/ip_vs_dh.ko 如果有类似上面的输出，表明系统内核已经默认支持了IPVS模块。接着就可以安装IPVS管理软件了。
hadoop3安装和配置
hadoop3.0.0安装和配置1.安装环境 硬件：虚拟机 操作系统：Centos 7 64位 IP：192.168.0.101 主机名：dbp JDK：jdk-8u144-linux-x64.tar.gz Hadoop：hadoop-3.0.0-beta1.tar.gz 2.关闭防火墙并配置主机名 [root@dbp]#systemctl stop firewalld #临时关闭防火墙 [root@dbp]#systemctl disable firewalld #关闭防火墙开机自启动 [root@dbp]#hostnamectl set-hostname dbp 同时修改/etc/hosts和/etc/sysconfig/network配置信息 3.配置SSH无密码登陆 [root@dbp]# ssh-keygen -t rsa #直接回车 [root@dbp]# ll ~/.ssh [root@dbp .ssh]# cp id_rsa.pub authorized_keys [root@dbp .ssh]# ssh localhost #验证不需要输入密码即可登录
4.安装JDK 1、准备jdk到指定目录 2、解压 [root@dbp software]# tar–xzvf jdk-8u144-linux-x64.tar.gz [root@dbp software]# mv jdk1.8.0_144/usr/local/jdk #重命名4、设置环境变量 [root@dbp software]# vim ~/.bash_profile 5、使环境变量生效并验证 5.安装Hadoop3.0.0 1、准备hadoop到指定目录 2、解压
Hadoop全分布式安装配置
Hadoop全分布式安装配置 一实验目的： 1、了解Hadoop的体系结构、组成； 2、熟练掌握Hadoop的配置、安装方法； 3、通过安装Hadoop了解Hadoop的原理； 二实验内容： 集群包含三个安装了Linux操作系统的节点。将其中的一个节点作为NameNode，另外两个节点作为DataNode，安装之前先利用ping命令，确认三个节点之间的网络互通，即可以互相ping通。假设三个节点IP地址如下，实际的集群节点IP地址可以不同。 NameNode：192.168.198.2 主机名：master DataNode1：192.168.198.3 主机名：slaver1 DataNode2：192.168.198.4 主机名：slaver2 三实验环境： 在申请的虚拟服务器上安装了VMWare Workstation虚拟3个Ubuntu14.04系统。 四安装配置过程： 1、安装Vmware WorkStation软件 下载安装Vmware WorkStation12.0软件。 2、在虚拟机上安装linux操作系统 在Vmware WorkStation12.0中创建一个Ubuntu14.04系统。拷贝镜像文件复制出三个系统。分别为master、slaver1、slaver2。 3、配置hosts、hostname文件
在三台机器上配置相同的hosts文件 （1）修改hosts sudo gedit /etc/hosts 192.168.198.200 master 192.168.198.199 slave1 192.168.198.198 slave2 （2）修改hostname sudo gedit /etc/hostname 4、配置ip地址 配置ip：sudo gedit /etc/network/interfaces slave2 auto eth0 iface eth0 inet static address 192.168.198.198 gateway 192.168.198.107 netmask 255.255.255.0 slave1 auto eth0 iface eth0 inet static address 192.168.198.199 gateway 192.168.198.107 netmask 255.255.255.0 master auto eth0 iface eth0 inet static address 192.168.198.200 gateway 192.168.198.107 netmask 255.255.255.0
linux lvs 配置
Linux负载均衡 一、LVS概述及原理 LVS是一个开源的软件，由毕业于国防科技大学的章文嵩博士于1998年5月创立，可以实现LINUX平台下的简单负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。 LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说，LVS集群采用三层结构，其主要组成部分为： 1) 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。 2) 服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。 3) 共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。 调度器是服务器集群系统的唯一入口点（Single Entry Point），它可以采用IP 负载均衡技术、基于内容请求分发技术或者两者相结合。在IP负载均衡技术中，需要服务器池拥有相同的内容提供相同的服务。当客户请求到达时，调度器只根据服务器负载情况和设定的调度算法从服务器池中选出一个服务器，将该请求转发到选出的服务器，并记录这个调度；当这个请求的其他报文到达，也会被转发到前面选出的服务器。在基于内容请求分发技术中，服务器可以提供不同的服务，当客户请求到达时，调度器可根据请求的内容选择服务器执行请求。因为所有的操作都是在Linux操作系统核心空间中将完成的，它的调度开销很小，所以它具有很高的吞吐率。服务器池的结点数目是可变的。当整个系统收到的负载超过目前所有结点的处理能力时，可以在服务器池中增加服务器来满足不断增长的请求负载。对大多数网络服务来说，请求间不存在很强的相关性，请求可以在不同的结点上并行执行，所以整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。共享存储通常是数据库、网络文件系统或者分布式文件系统。服务器结点需要动态更新的数据一般存储在数据库系统中，同时数据库会保证并发访问时数据的一致性。静态的数据可以存储在网络文件系统（如NFS/CIFS）中，但网络文件系统的伸缩能力有限，一般来说，NFS/CIFS服务器只能支持3~6个繁忙的服务器结点。对于规模较大的集群系统，可以考虑用分布式文件系统，如AFS、GFS、Coda和Intermezzo等。分布式文件系统可为各服务器提供共享的存储区，它们访问分布式文件系统就像访问本地文件系统一样，同时分布式文件系统可提供良好的伸缩性和可用性。此外，当不同服务器上的应用程序同时读写访问分布式文件系统上同一资源时，应用程序的访问冲突需要消解才能使得资源处于一致状态。这需要一个分布式锁管理器（Distributed Lock Manager），它可能是分布式文件系统内部提供的，也可能是外部的。开发者在写应用程序时，可以使用分
(完整word版)hadoop安装教程
1、VMware安装 我们使用Vmware 14的版本，傻瓜式安装即可。（只要） 双击 如过 2.安装xshell 双击 3.安装镜像： 解压centos6.5-empty解压 双击打开CentOS6.5.vmx 如果打不开，在cmd窗口中输入：netsh winsock reset 然后重启电脑。 进入登录界面，点击other 用户名：root 密码：root 然后右键open in terminal 输入ifconfig 回车 查看ip地址
打开xshell
点击链接 如果有提示，则接受 输入用户名：root 输入密码：root 4.xshell连接虚拟机 打开虚拟机，通过ifconfig查看ip
5.安装jkd 1.解压Linux版本的JDK压缩包 mkdir：创建目录的命令 rm -rf 目录/文件删除目录命令 cd 目录进入指定目录 rz 可以上传本地文件到当前的linux目录中（也可以直接将安装包拖到xshell窗口） ls 可以查看当前目录中的所有文件 tar 解压压缩包（Tab键可以自动补齐文件名）
pwd 可以查看当前路径 文档编辑命令: vim 文件编辑命令 i:进入编辑状态 Esc（左上角）：退出编辑状态 :wq 保存并退出 :q! 不保存退出 mkdir /home/software #按习惯用户自己安装的软件存放到/home/software目录下 cd /home/software #进入刚刚创建的目录 rz 上传jdk tar包 #利用xshell的rz命令上传文件(如果rz命令不能用，先执行yum install lrzsz -y ，需要联网) tar -xvf jdk-7u51-linux-x64.tar.gz #解压压缩包 2.配置环境变量 1）vim /etc/profile 2）在尾行添加 #set java environment JAVA_HOME=/home/software/jdk1.8.0_65 JAVA_BIN=/home/software/jdk1.8.0_65/bin PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH Esc 退出编辑状态 :wq #保存退出 注意JAVA_HOME要和自己系统中的jdk目录保持一致，如果是使用的rpm包安
高可用Lvs集群搭建和测试报告
高可用Lvs集群搭建和测试报告 Lvs（Linux Virtual Server）是Linux下的负载均衡器，支持LVS-NA T、 LVS-DR、LVS-TUNL三种不同的方式，NA T用的不是很多，主要用的是DR、TUNL方式。DR方式适合所有的RealServer在同一网段下，即接在同一个交换机上。TUNL方式不限制RealServer 的位置，完全可以跨地域、空间，只要系统支持Tunnel就可以。 运行Lvs的前端调度器，目前只能为Linux，针对FreeBSD刚刚出来，性能不是很好。可以针对Web、MySQL、Ftp等服务做load balances。后端的RealServer则可以为各类系统，Linux、Solaris、Aix、BSD、Windows都可。 下面主要针对DR方式下的Web、MySQL负载均衡，以及Lvs + HA做功能性的验证和性能方面的测试。 1.集群系统拓扑
2.环境搭建说明 1.前端Load Balancer、Backup为虚拟机Linux系统，后端两台Real Server为纯Linux系 统。 2.192.168.6.229为前端负载均衡调度器，虚拟IP为192.168.6.111，安装并配置了ipvsadm （负载均衡）、ldirectord（健康监控）服务。 3.192.168.6.230为调度器的备份，采用heartbeat实现。 4.192.168.6.240、192.168.6.241为两台提供服务的真实Server。 3.功能性验证 首先在Load Balancer上安装ipvsadm、ldirectord、heartbeat服务，备机上也相同，可以用YUM进行安装，安装完成后需要将ha.cf、haresources、authkeys、ldirectord.cf文件拷贝到/etc/ha.d/ 目录下。 3.1. 验证Apache负载均衡。 3.1.1.配置 1.配置Load Balancer的ipvsadm，脚本内容如下：
hadoop集群部署之双虚拟机版
1、采用一台机器开两个虚拟机的方式构成两台电脑的环境，用root登录。 分别查看其IP地址：输入# ifconfig，可得主机IP：192.168.1.99；分机为：192.168.1.100。 2、在两台机器上的/etc/hosts均添加相应的主机名和IP地址： 这里主机名命名为shenghao，分机名命名为slave： 保存后重启网络： 3、两台机器上均创立hadoop用户（注意是用root登陆） # useradd hadoop # passwd hadoop 输入111111做为密码 登录hadoop用户： 注意，登录用户名为hadoop，而不是自己命名的shenghao。 4、ssh的配置 进入centos的“系统→管理→服务器设置→服务，查看sshd服务是否运行。 在所有的机器上生成密码对： # ssh-keygen -t rsa 这时hadoop目录下生成一个.ssh的文件夹， 可以通过# ls .ssh/来查看里面产生的私钥和公钥：id_rsa和id_rsa.pub。 更改.ssh的读写权限： # chmod 755 .ssh 在namenode上（即主机上）
进入.ssh，将id_rsa.pub直接复制为authorized_keys（namenode的公钥）： # cp id_rsa.pub authorized_keys 更改authorized_keys的读写权限： # chmod 644 authorized_keys 【这个不必须，但保险起见，推荐使用】 然后上传到datanode上（即分机上）： # scp authorized_keys hadoop@slave:/home/hadoop/.ssh # cd .. 退出.ssh文件夹 这样shenghao就可以免密码登录slave了： 然后输入exit就可以退出去。 然后在datanode上（即分机上）： 将datanode上之前产生的公钥id_rsa.pub复制到namenode上的.ssh目录中，并重命名为slave.id_rsa.pub，这是为了区分从各个datanode上传过来的公钥，这里就一个datanode，简单标记下就可。 # scp -r id_rsa.pub hadoop@shenghao:/home/hadoop/.ssh/slave.id_rsa.pub 复制完毕，此时，由于namenode中已经存在authorized_keys文件，所以这里是追加，不是复制。在namenode上执行以下命令，将每个datanode的公钥信息追加: # cat slave.id_rsa.pub >> authorized_keys 这样，namenode和datanode之间便可以相互ssh上并不需要密码： 然后输入exit就可以退出去。 5、hadoop的集群部署 配置hadoop前一定要配置JDK，请参考相关资料，这里就不赘述了。 将下载好的hadoop-0.19.0.tar.gz文件上传到namenode的/home/hadoop/hadoopinstall 解压文件： # tar zxvf hadoop-0.19.0.tar.gz 在/erc/profile的最后添加hadoop的路径： # set hadoop path export HADOOP_HOME=/home/hadoop/hadoopinstall/hadoop-0.20.2 export PATH=$HADOOP_HOME/bin:$PATH 之后配置hadoop/conf中的4个文件：
hadoop安装简要过程和相关配置文件
Hadoop安装简要过程及配置文件 1、机器准备 ①、Linux版操作系统centos 6.x ②、修改主机名，方便配置过程中记忆。修改文件为： /etc/sysconfig/network 修改其中的HOSTNAME即可 ③、配置局域网内，主机名与对应ip，并且其中集群中所有的机器的文件相同，修改文件为 /etc/hosts 格式为： 10.1.20.241 namenode 10.1.20.242 datanode1 10.1.20.243 datanode2 2、环境准备 ①、配置ssh免密码登陆，将集群中master节点生成ssh密码文件。具体方法： 1）、ssh-keygen -t rsa 一直回车即可,将会生成一份 ~/.ssh/ 文件夹，其中id_rsa为私钥文件 id_rsa.pub公钥文件。 2）、将公钥文件追加到authorized_keys中然后再上传到其他slave节点上 追加文件： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 上传文件： scp ~/.ssh/authorized_keys root@dananode:~/.ssh/ 3）、测试是否可以免密码登陆：ssh 主机名或局域网ip ②、配置JDK ③、创建hadoop用户 groupadd hadoop useradd hadoop -g hadoop 4)、同步时间 ntpdate https://www.sodocs.net/doc/6917594990.html, 5）、关闭防火墙 service iptables stop 3、安装cdh5 进入目录/data/tools/ (个人习惯的软件存储目录，你可以自己随便选择)； wget "https://www.sodocs.net/doc/6917594990.html,/cdh5/one-click-install/redhat/ 6/x86_64/cloudera-cdh-5-0.x86_64.rpm" yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 添加cloudera仓库验证： rpm --importhttps://www.sodocs.net/doc/6917594990.html,/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
LVS+Keepalived部署全解
安装与配置 两台负载均衡器： Lvs1:192.168.1.10 Lvs2:192.168.1.11 漂移地址(虚拟IP，VIP)： Vip：192.168.1.169 Real Server： RS1：192.168.1.102 RS2：192.168.1.103 LVS配置及ipvsadm和keepalived的安装 在lvs master和lvs backup主机上安装。 1．首先安装一些辅助package如下： e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm kernel-devel-2.6.32-642.el6.x86_64.rpm keyutils-libs-devel-1.4-4.el6.x86_64.rpm krb5-devel-1.10.3-10.el6_4.6.x86_64.rpm libcom_err-devel-1.41.12-18.el6.x86_64.rpm libnl-1.1.4-2.el6.x86_64.rpm libnl-devel-1.1.4-2.el6.x86_64.rpm libselinux-devel-2.0.94-5.3.el6_4.1.x86_64.rpm libsepol-devel-2.0.41-4.el6.x86_64.rpm zlib-devel-1.2.3-29.el6.x86_64.rpm openssl-devel-1.0.1e-15.el6.x86_64.rpm pkgconfig-0.23-9.1.el6.x86_64.rpm popt-devel-1.13-7.el6.x86_64.rpm popt-static-1.13-7.el6.i686.rpm 安装时可能出现缺少什么package，去iso中找或者网上下载然后安装就可以了 rpm –ivh XXXXXXXX.rpm 2．然后安装ipvsadm 将ipvsadm-1.26.tar.gz压缩文件复制到/usr/local/src/lvs/文件夹下，然后运行tar zxvf ipvsadm-1.26.tar.gz 命令。创建软连接ln –s /usr/src/kernels/2.6.32-431.el6.x86_64/ /usr/src/linux，然后进去ipvsadm-1.26文件夹cd ipvsadm-1.26，make && make install。 #find / -name ipvsdam 查找的安装位置 检查ipvsadm是否安装成功，可直接输入#ipvsadm IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn 检查模块是否加入内核#lsmod| grep ip_vs ip_vs 78081 0
Hadoop集群搭建(二)HDFS_2017
Hadoop集群搭建(二)HDFS HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS 展开的。所以部署一个HDFS集群，是很核心的一个动作，也是大数据平台的开始。 安装Hadoop集群，首先需要有Zookeeper才可以完成安装。如果没有Zookeeper，请先部署一套Zookeeper。另外，JDK以及物理主机的一些设置等。都请参考下文： Hadoop集群搭建(一) Zookeeper 下面开始HDFS的安装 HDFS主机分配 1.19 2.168.67.101 c6701 --Namenode+datanode 2.192.168.67.102 c6702 --datanode 3.192.168.67.103 c6703 --datanode 1. 安装HDFS，解压hadoop- 2.6.0-EDH-0u2.tar.gz 我同时下载2.6和2.7版本的软件，先安装2.6，然后在执行2.6到2.7的升级步骤 https://www.sodocs.net/doc/6917594990.html,eradd hdfs 2.echo "hdfs:hdfs"| chpasswd 3.su - hdfs
4.cd /tmp/software 5.tar -zxvf hadoop-2. 6.0-EDH-0u2.tar.gz -C /home/hdfs/ 6.mkdir -p /data/hadoop/temp 7.mkdir -p /data/hadoop/journal 8.mkdir -p /data/hadoop/hdfs/name 9.mkdir -p /data/hadoop/hdfs/data 10.chown -R hdfs:hdfs /data/hadoop 11.chown -R hdfs:hdfs /data/hadoop/temp 12.chown -R hdfs:hdfs /data/hadoop/journal 13.chown -R hdfs:hdfs /data/hadoop/hdfs/name 14.chown -R hdfs:hdfs /data/hadoop/hdfs/data 15.$ pwd 16./home/hdfs/hadoop-2.6.0-EDH-0u2/etc/hadoop 2. 修改core-site.xml对应的参数 1.$ cat core-site.xml 2.<configuration> 3.<!--指定hdfs的nameservice为ns --> 4.<property> 5.<name>fs.defaultFS</name> 6.<value>hdfs://ns</value> 7.</property> 8.<!--指定hadoop数据临时存放目录-->
版图绘制时如何进行LVS验证
第四章验证多路复用器版图——Verifying the Multiplexer Layout This chapter introduces you to interactive verification. You will perform two different tests in the Virtuoso? layout editor while using Diva interactive verification. One test uses the Design Rule Checker (DRC) to compare your design against the design rule, and the other test uses Layout Versus Schematic (LVS) software to check your design’s connectivity. You will be 本章向您介绍交互式验证。在使用Diva交互式验证时，您将在Virtuoso?版图编辑器中执行两个不同的测试。一个测试使用设计规则检查器（DRC）将您的设计与设计规则进行比较，另一个测试使用Layout Versus Schematic（LVS）软件来检查您的设计的连通性。你将会 Creating a Test Case for Checking Errors 创建用于检查错误的测试用例 ?Performing a Design Rule Check 执行设计规则检查 ?Extracting Connectivity from the Layout 从版图中提取连接性 ?Comparing the Layout to the Schematic 将版图与原理图进行比较 ?Analyzing LVS Errors 分析LVS错误 ?Correcting the Error 更正错误 ?Rerunning Verification on page 重新验证 When you finish this chapter, you will be able to 完成本章后，您将能够 ?Run a design rule check and view errors 运行设计规则检查并查看错误 ?View and correct DRC errors 查看并更正DRC错误 ?Run extraction on a layout 在版图上运行提取 ?View a schematic 查看原理图 ?Cross-probe between a layout and a schematic 版图和原理图间的交叉探测 ?Rerun verification after correcting an error 纠正错误后重新运行验证 找出是否可以运行交互式验证——Finding Out if You Can Run Interactive Verification You might not have a license to run the interactive verification products. 您可能没有运行交互式验证产品的许可。 ?Click the Verify menu to find out whether you can use interactive verification. ?单击“验证”菜单以确定是否可以使用交互式验证。 If the commands under Verify appear shaded, you do not have a license to run interactive verification. You can either read this chapter to get an idea about how interactive verification works, or you can go on to the next chapter. 如果“验证”下的命令显示为阴影，则表示您没有运行交互式验证的许可证。您可以阅读本章以了解交互式验证的工作原理，也可以继续阅读下一章。 如果您还没有完成以前的章节——If You Have Not Completed the Previous Chapters This chapter assumes you have followed the steps in the previous chapters. If you have, you can skip this section and go to the “Creating a Test Case for Checking Errors” on page 107. If you did not follow the steps in the previous chapters, you must copy a completed design from the master library so you can go through this chapter. The following steps show you how to copy the completed design from the master library. 本章假设您已按照前面章节中的步骤进行操作。如果有，可以跳过本节并转至第107页的“创建检查错误的测试用例”。如果未按照前面章节中的步骤进行操作，则必须从master 库中复制已完成的设计，以便可以完成这一章。以下步骤说明如何从master库复制完成的设
相关文档
- 实验一 hadoop 安装配置
- hadoop集群完整配置过程详细笔记
- 实验2 Hadoop安装与配置
- Hadoop系统操作安装手册
- hadoop安装配置笔记
- hadoop安装指南(非常详细,包成功)
- Hadoop安装配置流程
- Hadoop的安装与配置及示例wordcount的运行
- Hadoop安装配置超详细步骤
- linux安装+hadoop配置
- hadoop超详细部署指导手册
- Hadoop全分布式安装配置
- Hadoop2.9安装和配置
- Hadoop安装部署手册
- hadoop安装配置指南
- (参考资料)Hadoop安装配置超详细步骤
- hadoop详细安装配置过程(1)
- hadoop安装简要过程和相关配置文件
- hadoop环境配置入门教程
- Centos7安装和配置hadoop2.7.3的流程和总结