北京尚学堂
海量数据处理hadoop--夏中云
目录
1. vmware8.0下redhat enterprise6安装配置 (4)
2. hadoop伪分布式搭建 (4)
a) 伪分布式搭建流程 (6)
b) 官方伪分布式文档研读 (6)
c) 无密码登陆ssh配置 (9)
d) hadoop配置文件配置 (11)
e) 启动hadoop (12)
f) Hdfs 简单命令操作 (14)
g) 运行hadoop-examples (14)
h) http://localhost:50075 (18)
i) Hadoop 0.20.2伪分布式参考文档 (18)
3. putty使用 (22)
4. winscp使用 (24)
5. Hadoop完全分布式搭建 ..................................................................................... 错误!未定义书签。
a) 官方完全分布式搭建文档地址 .................................................................. 错误!未定义书签。
b) SSH无密码配置........................................................................................... 错误!未定义书签。
c) 文件上传到hdfs .......................................................................................... 错误!未定义书签。
6. WordCount运行详解 ........................................................................................... 错误!未定义书签。
7. Eclipse开发环境设置 (24)
8. HDFS深入详解 ..................................................................................................... 错误!未定义书签。
a) HDFS初识 .................................................................................................... 错误!未定义书签。
b) HDFS分析(一) .............................................................................................. 错误!未定义书签。
c) HDFS分析(二) ........................................................................................ 错误!未定义书签。
d) HDFS分析(三) .............................................................................................. 错误!未定义书签。
e) HDFS分析(四) .............................................................................................. 错误!未定义书签。
9. MapReduce深入详解........................................................................................... 错误!未定义书签。
f) MapReduce原理浅析 ................................................................................. 错误!未定义书签。
g) 以纸牌问题为例.......................................................................................... 错误!未定义书签。
h) MapReduce基础 ......................................................................................... 错误!未定义书签。
i) MapReduce的map流程 ............................................................................ 错误!未定义书签。
j) MapReduce数据流(一).......................................................................... 错误!未定义书签。
k) MapReduce数据流(二).......................................................................... 错误!未定义书签。
l) MapReduce数据流(三).......................................................................... 错误!未定义书签。
m) mapreduce小结一下.............................................................................. 错误!未定义书签。
10. HBase简介及安装 ........................................................................................... 错误!未定义书签。
11. HBase之旅 ....................................................................................................... 错误!未定义书签。
12. HBase应用开发 ............................................................................................... 错误!未定义书签。
13. HBase性能优化 ............................................................................................... 错误!未定义书签。
14. Hive简介及安装 .............................................................................................. 错误!未定义书签。
15. Hive应用开发 .................................................................................................. 错误!未定义书签。
16. Hive性能优化 .................................................................................................. 错误!未定义书签。
17. HBase、Hive与RDBMS_V1.1 .......................................................................... 错误!未定义书签。
18. ZooKeeper简介及安装 .................................................................................... 错误!未定义书签。
19. ZooKeeper应用开发 ........................................................................................ 错误!未定义书签。
20. Sqoop ................................................................................................................ 错误!未定义书签。
21. MapReduce进阶 .............................................................................................. 错误!未定义书签。
22. Pig ..................................................................................................................... 错误!未定义书签。
23. Avro ................................................................................................................... 错误!未定义书签。
24. Mahout ............................................................................................................. 错误!未定义书签。
25. Chukwa ............................................................................................................. 错误!未定义书签。
26. mongodb ........................................................................................................... 错误!未定义书签。
27. Hadoop管理 .................................................................................................... 错误!未定义书签。
28. 附录 .................................................................................................................. 错误!未定义书签。
a) Linux下chkconfig命令详解 ....................................................................... 错误!未定义书签。
b) SSH-KeyGen 的用法 .................................................................................... 错误!未定义书签。
c) SSH 密钥类型的的选择(RSA, DSA or Other)....................................... 错误!未定义书签。
d) Win下Eclipse提交hadoop程序出错 ....................................................... 错误!未定义书签。
e) no such user ................................................................................................. 错误!未定义书签。
f) 安全模式...................................................................................................... 错误!未定义书签。
g) HDFS小文件问题及解决方案 .................................................................... 错误!未定义书签。
h) MapReduce: 超大机群上的简单数据处理................................................ 错误!未定义书签。
i) Hadoop添加删除节点 ................................................................................ 错误!未定义书签。
j) MapReduce提交作业常见问题.................................................................. 错误!未定义书签。
l) 运行mapreduce程序时出现异常.............................................................. 错误!未定义书签。
1.vmware8.0下redhat enterprise6安装配置
2.hadoop伪分布式搭建
https://www.sodocs.net/doc/088639454.html,/
a)伪分布式搭建流程
1.上传hadoop-1.0.4.tar.gz至linux /usr/hadoop 目录下
2.解压hadoop-1.0.4.tar.gz
3.Tar -zxvf hadoop-1.0.
4.tar.gz
4.配置linux ssh无密码登陆
5.hadoop配置文件
6.conf/core-site.xml
7.conf/hdfs-site.xml
8.conf/mapred-site.xml
9.注意填写core mapred的时候尽量使用ip地址
10../hadoop dfsadmin -report
b)官方伪分布式文档研读
c)无密码登陆ssh配置
1.确认本机sshd的配置文件(使用root用户)
2.$ vi /etc/ssh/sshd_config
3.找到以下内容,并去掉注释符”#“
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
service sshd restart(重新启动sshd)
d)hadoop配置文件配置
1)配置JAVA_HOME
在hadoop-env.sh中
在core-site.xml中,添加如下属性
e)启动hadoop
f)Hdfs 简单命令操作
./hadoop fs -help
g)运行hadoop-examples
[admin@localhost bin]$ ./hadoop jar ../hadoop-examples-*.jar grep input output 'dfs[a-z.]+' 12/11/09 00:49:50 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/11/09 00:49:50 WARN snappy.LoadSnappy: Snappy native library not loaded
12/11/09 00:49:50 INFO mapred.FileInputFormat: Total input paths to process : 16
12/11/09 00:49:50 INFO mapred.JobClient: Running job: job_201211090007_0001
12/11/09 00:49:51 INFO mapred.JobClient: map 0% reduce 0%
12/11/09 00:50:06 INFO mapred.JobClient: map 12% reduce 0%
12/11/09 00:50:15 INFO mapred.JobClient: map 25% reduce 0%
12/11/09 00:50:24 INFO mapred.JobClient: map 37% reduce 8%
12/11/09 00:50:30 INFO mapred.JobClient: map 50% reduce 8%
12/11/09 00:50:33 INFO mapred.JobClient: map 50% reduce 12%
h)http://localhost:50075
i)Hadoop 0.20.2伪分布式参考文档