搜档网
当前位置:搜档网 › hadoop伪分布式搭建

hadoop伪分布式搭建

北京尚学堂

海量数据处理hadoop--夏中云

目录

1. vmware8.0下redhat enterprise6安装配置 (4)

2. hadoop伪分布式搭建 (4)

a) 伪分布式搭建流程 (6)

b) 官方伪分布式文档研读 (6)

c) 无密码登陆ssh配置 (9)

d) hadoop配置文件配置 (11)

e) 启动hadoop (12)

f) Hdfs 简单命令操作 (14)

g) 运行hadoop-examples (14)

h) http://localhost:50075 (18)

i) Hadoop 0.20.2伪分布式参考文档 (18)

3. putty使用 (22)

4. winscp使用 (24)

5. Hadoop完全分布式搭建 ..................................................................................... 错误!未定义书签。

a) 官方完全分布式搭建文档地址 .................................................................. 错误!未定义书签。

b) SSH无密码配置........................................................................................... 错误!未定义书签。

c) 文件上传到hdfs .......................................................................................... 错误!未定义书签。

6. WordCount运行详解 ........................................................................................... 错误!未定义书签。

7. Eclipse开发环境设置 (24)

8. HDFS深入详解 ..................................................................................................... 错误!未定义书签。

a) HDFS初识 .................................................................................................... 错误!未定义书签。

b) HDFS分析(一) .............................................................................................. 错误!未定义书签。

c) HDFS分析(二) ........................................................................................ 错误!未定义书签。

d) HDFS分析(三) .............................................................................................. 错误!未定义书签。

e) HDFS分析(四) .............................................................................................. 错误!未定义书签。

9. MapReduce深入详解........................................................................................... 错误!未定义书签。

f) MapReduce原理浅析 ................................................................................. 错误!未定义书签。

g) 以纸牌问题为例.......................................................................................... 错误!未定义书签。

h) MapReduce基础 ......................................................................................... 错误!未定义书签。

i) MapReduce的map流程 ............................................................................ 错误!未定义书签。

j) MapReduce数据流(一).......................................................................... 错误!未定义书签。

k) MapReduce数据流(二).......................................................................... 错误!未定义书签。

l) MapReduce数据流(三).......................................................................... 错误!未定义书签。

m) mapreduce小结一下.............................................................................. 错误!未定义书签。

10. HBase简介及安装 ........................................................................................... 错误!未定义书签。

11. HBase之旅 ....................................................................................................... 错误!未定义书签。

12. HBase应用开发 ............................................................................................... 错误!未定义书签。

13. HBase性能优化 ............................................................................................... 错误!未定义书签。

14. Hive简介及安装 .............................................................................................. 错误!未定义书签。

15. Hive应用开发 .................................................................................................. 错误!未定义书签。

16. Hive性能优化 .................................................................................................. 错误!未定义书签。

17. HBase、Hive与RDBMS_V1.1 .......................................................................... 错误!未定义书签。

18. ZooKeeper简介及安装 .................................................................................... 错误!未定义书签。

19. ZooKeeper应用开发 ........................................................................................ 错误!未定义书签。

20. Sqoop ................................................................................................................ 错误!未定义书签。

21. MapReduce进阶 .............................................................................................. 错误!未定义书签。

22. Pig ..................................................................................................................... 错误!未定义书签。

23. Avro ................................................................................................................... 错误!未定义书签。

24. Mahout ............................................................................................................. 错误!未定义书签。

25. Chukwa ............................................................................................................. 错误!未定义书签。

26. mongodb ........................................................................................................... 错误!未定义书签。

27. Hadoop管理 .................................................................................................... 错误!未定义书签。

28. 附录 .................................................................................................................. 错误!未定义书签。

a) Linux下chkconfig命令详解 ....................................................................... 错误!未定义书签。

b) SSH-KeyGen 的用法 .................................................................................... 错误!未定义书签。

c) SSH 密钥类型的的选择(RSA, DSA or Other)....................................... 错误!未定义书签。

d) Win下Eclipse提交hadoop程序出错 ....................................................... 错误!未定义书签。

e) no such user ................................................................................................. 错误!未定义书签。

f) 安全模式...................................................................................................... 错误!未定义书签。

g) HDFS小文件问题及解决方案 .................................................................... 错误!未定义书签。

h) MapReduce: 超大机群上的简单数据处理................................................ 错误!未定义书签。

i) Hadoop添加删除节点 ................................................................................ 错误!未定义书签。

j) MapReduce提交作业常见问题.................................................................. 错误!未定义书签。

l) 运行mapreduce程序时出现异常.............................................................. 错误!未定义书签。

1.vmware8.0下redhat enterprise6安装配置

2.hadoop伪分布式搭建

https://www.sodocs.net/doc/088639454.html,/

a)伪分布式搭建流程

1.上传hadoop-1.0.4.tar.gz至linux /usr/hadoop 目录下

2.解压hadoop-1.0.4.tar.gz

3.Tar -zxvf hadoop-1.0.

4.tar.gz

4.配置linux ssh无密码登陆

5.hadoop配置文件

6.conf/core-site.xml

7.conf/hdfs-site.xml

8.conf/mapred-site.xml

9.注意填写core mapred的时候尽量使用ip地址

10../hadoop dfsadmin -report

b)官方伪分布式文档研读

c)无密码登陆ssh配置

1.确认本机sshd的配置文件(使用root用户)

2.$ vi /etc/ssh/sshd_config

3.找到以下内容,并去掉注释符”#“

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

service sshd restart(重新启动sshd)

d)hadoop配置文件配置

1)配置JAVA_HOME

在hadoop-env.sh中

在core-site.xml中,添加如下属性

e)启动hadoop

f)Hdfs 简单命令操作

./hadoop fs -help

g)运行hadoop-examples

[admin@localhost bin]$ ./hadoop jar ../hadoop-examples-*.jar grep input output 'dfs[a-z.]+' 12/11/09 00:49:50 INFO util.NativeCodeLoader: Loaded the native-hadoop library

12/11/09 00:49:50 WARN snappy.LoadSnappy: Snappy native library not loaded

12/11/09 00:49:50 INFO mapred.FileInputFormat: Total input paths to process : 16

12/11/09 00:49:50 INFO mapred.JobClient: Running job: job_201211090007_0001

12/11/09 00:49:51 INFO mapred.JobClient: map 0% reduce 0%

12/11/09 00:50:06 INFO mapred.JobClient: map 12% reduce 0%

12/11/09 00:50:15 INFO mapred.JobClient: map 25% reduce 0%

12/11/09 00:50:24 INFO mapred.JobClient: map 37% reduce 8%

12/11/09 00:50:30 INFO mapred.JobClient: map 50% reduce 8%

12/11/09 00:50:33 INFO mapred.JobClient: map 50% reduce 12%

h)http://localhost:50075

i)Hadoop 0.20.2伪分布式参考文档

相关主题