搜档网
当前位置:搜档网 › hadoop的安装与使用实验总结

hadoop的安装与使用实验总结

hadoop的安装与使用实验总结

Hadoop的安装与使用实验总结

一、引言

Hadoop是一个用于分布式存储和处理大规模数据集的开源框架。它提供了可靠、可扩展的分布式计算能力,被广泛应用于大数据处理领域。本文将总结Hadoop的安装与使用实验,包括安装Hadoop集群、配置Hadoop环境、编写并运行MapReduce程序等内容。

二、安装Hadoop集群

1. 下载Hadoop安装包,并解压到指定目录。

2. 配置Hadoop集群的主机名与IP地址映射关系。

3. 配置Hadoop集群的核心文件:hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml。

4. 初始化Hadoop分布式文件系统:格式化NameNode。

5. 启动Hadoop集群的各个组件:NameNode、DataNode、ResourceManager、NodeManager。

三、配置Hadoop环境

1. 设置Hadoop的环境变量:在.bashrc或.bash_profile文件中添加Hadoop的安装路径。

2. 配置SSH免密登录:生成密钥对,并将公钥分发到集群的各个节点。

3. 配置Hadoop用户的权限:创建Hadoop用户组和用户,并将

Hadoop安装目录的权限设置为该用户组。

4. 配置Hadoop的日志输出路径:修改log4j.properties文件,指定Hadoop日志的输出路径。

四、编写并运行MapReduce程序

1. 编写Mapper类和Reducer类:实现map()和reduce()方法,定义输入和输出的数据类型。

2. 编写Driver类:设置作业的输入和输出路径,配置Mapper和Reducer类,以及其他相关的作业参数。

3. 将MapReduce程序打包成JAR文件。

4. 将输入数据上传到HDFS的指定路径。

5. 运行MapReduce程序:使用hadoop jar命令运行JAR文件,并指定作业的输入和输出路径。

6. 查看作业执行情况和输出结果:使用Hadoop提供的命令查看作业的运行日志和输出结果。

五、实验总结

通过本次实验,我们成功安装了Hadoop集群并配置了Hadoop的环境。在编写和运行MapReduce程序的过程中,我们深入了解了Hadoop的工作原理和编程模型。在实验过程中,我们遇到了一些问题,例如配置文件的格式错误、权限设置不正确等,但通过查找资料和尝试解决,最终都得到了解决。本次实验使我们对Hadoop的安装和使用有了更深入的了解,并为我们进一步探索大数据处理提供

了基础。

六、展望

Hadoop作为目前最流行的大数据处理框架之一,具有广泛的应用前景。未来,我们可以进一步学习Hadoop的高级特性和优化技巧,提高大数据处理的效率和质量。同时,我们还可以学习Hadoop生态系统中的其他组件,如Hive、HBase、Spark等,进一步扩展我们的大数据处理能力。

通过本次Hadoop的安装与使用实验,我们对Hadoop的安装、配置和编程有了更深入的了解。这为我们进一步探索大数据处理提供了基础,也为我们未来的学习和实践打下了坚实的基础。希望通过不断的学习和实践,我们能够在大数据处理领域取得更进一步的突破和成就。

hadoop的安装与使用实验总结

hadoop的安装与使用实验总结 Hadoop的安装与使用实验总结 一、引言 Hadoop是一个用于分布式存储和处理大规模数据集的开源框架。它提供了可靠、可扩展的分布式计算能力,被广泛应用于大数据处理领域。本文将总结Hadoop的安装与使用实验,包括安装Hadoop集群、配置Hadoop环境、编写并运行MapReduce程序等内容。 二、安装Hadoop集群 1. 下载Hadoop安装包,并解压到指定目录。 2. 配置Hadoop集群的主机名与IP地址映射关系。 3. 配置Hadoop集群的核心文件:hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml。 4. 初始化Hadoop分布式文件系统:格式化NameNode。 5. 启动Hadoop集群的各个组件:NameNode、DataNode、ResourceManager、NodeManager。 三、配置Hadoop环境 1. 设置Hadoop的环境变量:在.bashrc或.bash_profile文件中添加Hadoop的安装路径。 2. 配置SSH免密登录:生成密钥对,并将公钥分发到集群的各个节点。 3. 配置Hadoop用户的权限:创建Hadoop用户组和用户,并将

Hadoop安装目录的权限设置为该用户组。 4. 配置Hadoop的日志输出路径:修改log4j.properties文件,指定Hadoop日志的输出路径。 四、编写并运行MapReduce程序 1. 编写Mapper类和Reducer类:实现map()和reduce()方法,定义输入和输出的数据类型。 2. 编写Driver类:设置作业的输入和输出路径,配置Mapper和Reducer类,以及其他相关的作业参数。 3. 将MapReduce程序打包成JAR文件。 4. 将输入数据上传到HDFS的指定路径。 5. 运行MapReduce程序:使用hadoop jar命令运行JAR文件,并指定作业的输入和输出路径。 6. 查看作业执行情况和输出结果:使用Hadoop提供的命令查看作业的运行日志和输出结果。 五、实验总结 通过本次实验,我们成功安装了Hadoop集群并配置了Hadoop的环境。在编写和运行MapReduce程序的过程中,我们深入了解了Hadoop的工作原理和编程模型。在实验过程中,我们遇到了一些问题,例如配置文件的格式错误、权限设置不正确等,但通过查找资料和尝试解决,最终都得到了解决。本次实验使我们对Hadoop的安装和使用有了更深入的了解,并为我们进一步探索大数据处理提供

hadoop集群搭建总结

Hadoop集群搭建总结 一、概述 Hadoop是一个分布式计算框架,由Apache基金会开发。它能够处理大规模的数据集,并能够在商用服务器上构建集群。Hadoop的核心组件包括HDFS(分布式文件系统)和MapReduce(编程模型)。 二、安装与配置 1. 环境准备:确保服务器具备以下条件:操作系统(如CentOS)、Java环境(JDK)、SSH配置、网络环境。 2. HDFS安装与配置:安装Hadoop前,需要先安装HDFS。创建目录,配置核心配置文件(如hdfs-site.xml、core-site.xml),格式化HDFS,启动并验证HDFS状态。 3. MapReduce安装与配置:安装Hadoop后,需要安装MapReduce。配置MapReduce2相关的配置文件(mapred-site.xml、yarn-site.xml),启动并验证MapReduce状态。 4. YARN安装与配置:YARN是Hadoop的资源管理器,负责资源的分配和管理。配置YARN相关的配置文件(yarn-site.xml),启动并验证YARN状态。

三、节点扩展 当集群负载过高或数据量过大时,需要进行节点扩展。扩展时需要注意节点的均衡,确保各个节点之间的负载差异不会过大。 四、性能优化 针对Hadoop集群的性能优化,可以采取以下措施: 1. 调整HDFS的块大小:根据实际情况调整HDFS的块大小,可以提高数据读写效率。 2. 调整MapReduce的参数:针对特定的作业,可以调整MapReduce的参数来优化性能,如增加map和reduce任务的内存分配、调整任务并发度等。 3. 优化Java虚拟机参数:针对Java虚拟机,可以调整其内存分配、垃圾回收策略等参数来优化性能。 4. 使用压缩:在数据传输过程中,使用压缩可以减少网络传输量,提高性能。 5. 调整网络参数:针对网络环境,可以调整TCP协议的参数来提高网络性能。 五、安全性和可靠性

hadoop安装实验总结

hadoop安装实验总结 Hadoop安装实验总结 Hadoop是一个开源的分布式计算框架,用于处理大规模数据集。在本次实验中,我成功安装了Hadoop,并进行了相关的配置和测试。以下是我对整个过程的总结和经验分享。 1. 环境准备 在开始安装Hadoop之前,我们需要确保已经具备了以下几个环境条件: - 一台Linux操作系统的机器,推荐使用Ubuntu或CentOS。 - Java开发环境,Hadoop是基于Java开发的,因此需要安装JDK。- SSH服务,Hadoop通过SSH协议进行节点之间的通信,因此需要确保SSH服务已启动。 2. 下载和安装Hadoop 可以从Hadoop官方网站上下载最新的稳定版本。下载完成后,解压缩到指定目录,并设置环境变量。同时,还需要进行一些配置,包括修改配置文件和创建必要的目录。 3. 配置Hadoop集群 Hadoop是一个分布式系统,通常会配置一个包含多个节点的集群。在配置文件中,我们需要指定集群的各个节点的IP地址和端口号,并设置一些重要的参数,如数据存储路径、副本数量等。此外,还

可以根据实际需求调整其他配置参数,以优化集群性能。 4. 启动Hadoop集群 在完成集群配置后,我们需要启动Hadoop集群。这一过程需要先启动Hadoop的各个组件,包括NameNode、DataNode、ResourceManager和NodeManager等。启动成功后,可以通过Web 界面查看集群的状态和运行情况。 5. 测试Hadoop集群 为了验证Hadoop集群的正常运行,我们可以进行一些简单的测试。例如,可以使用Hadoop提供的命令行工具上传和下载文件,查看文件的副本情况,或者运行一些MapReduce任务进行数据处理。这些测试可以帮助我们了解集群的性能和可靠性。 6. 故障排除与优化 在实际使用Hadoop时,可能会遇到一些故障和性能问题。为了解决这些问题,我们可以通过查看日志文件或者使用Hadoop提供的工具进行故障排查。此外,还可以根据实际需求对集群进行优化,如增加节点数量、调整参数配置等,以提升集群的性能和可扩展性。 总结: 通过本次实验,我成功安装了Hadoop,并进行了相关的配置和测试。通过这个过程,我深入了解了Hadoop的架构和工作原理,掌握了Hadoop集群的搭建和使用方法。同时,我也遇到了一些问题,但通

hadoop分布式环境搭建实验总结

hadoop分布式环境搭建实验总结Hadoop分布式环境搭建实验总结 一、引言 Hadoop是目前最流行的分布式计算框架之一,它具有高可靠性、高扩展性和高效性的特点。在本次实验中,我们成功搭建了Hadoop分布式环境,并进行了相关测试和验证。本文将对实验过程进行总结和归纳,以供参考。 二、实验准备 在开始实验之前,我们需要准备好以下几个方面的内容: 1. 硬件环境:至少两台具备相同配置的服务器,用于搭建Hadoop 集群。 2. 软件环境:安装好操作系统和Java开发环境,并下载Hadoop 的安装包。 三、实验步骤 1. 安装Hadoop:解压Hadoop安装包,并根据官方文档进行相应的配置,包括修改配置文件、设置环境变量等。 2. 配置SSH无密码登录:为了实现集群间的通信,需要配置各个节点之间的SSH无密码登录。具体步骤包括生成密钥对、将公钥分发到各个节点等。 3. 配置Hadoop集群:修改Hadoop配置文件,包括core-

site.xml、hdfs-site.xml和mapred-site.xml等,设置集群的基本参数,如文件系统地址、数据存储路径等。 4. 启动Hadoop集群:通过启动NameNode、DataNode和ResourceManager等守护进程,使得集群开始正常运行。可以通过jps命令来验证各个进程是否成功启动。 5. 测试Hadoop集群:可以使用Hadoop自带的例子程序进行测试,如WordCount、Sort等。通过执行这些程序,可以验证集群的正常运行和计算能力。 四、实验结果 经过以上步骤的操作,我们成功搭建了Hadoop分布式环境,并进行了相关测试。以下是我们得到的一些实验结果: 1. Hadoop集群的各个节点正常运行,并且能够相互通信。 2. Hadoop集群能够正确地处理输入数据,并生成期望的输出结果。 3. 集群的负载均衡和容错能力较强,即使某个节点出现故障,也能够继续运行和处理任务。 五、实验总结 通过本次实验,我们深入了解了Hadoop分布式环境的搭建和配置过程,并验证了其稳定性和高效性。实验中遇到了一些问题,如配置文件的错误设置、节点间通信失败等,但通过查找资料和调试,最终都得到了解决。在搭建Hadoop集群的过程中,我们学到了很多有关分布式系统和大数据处理的知识,也提升了我们的实践能力。

hadoop安装与配置总结与心得

hadoop安装与配置总结与心得 安装与配置Hadoop是一个相对复杂的任务,但如果按照正确的步骤进行,可以顺利完成。以下是我在安装与配置Hadoop 过程中的总结与心得: 1. 首先,确保你已经满足Hadoop的系统要求,并且已经安装了Java环境和SSH。 2. 下载Hadoop的压缩包,并解压到你想要安装的目录下。例如,解压到/opt/hadoop目录下。 3. 配置Hadoop的环境变量。打开你的.bashrc文件(或 者.bash_profile文件),并添加以下内容: ```shell export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 保存文件后,执行source命令使其生效。 4. 配置Hadoop的核心文件。打开Hadoop的配置文件core-site.xml,并添加以下内容: ```xml fs.defaultFS hdfs://localhost:9000

``` 5. 配置Hadoop的HDFS文件系统。打开Hadoop的配置文件hdfs-site.xml,并添加以下内容: ```xml dfs.replication 1 ``` 这里的dfs.replication属性指定了数据块的副本数量,可以根据实际情况进行调整。 6. 配置Hadoop的MapReduce框架。打开Hadoop的配置文件mapred-site.xml,并添加以下内容: ```xml https://www.sodocs.net/doc/7819295508.html, yarn ``` 7. 配置Hadoop的YARN资源管理器。打开Hadoop的配置文件yarn-site.xml,并添加以下内容: ```xml

hadoop 实验报告

hadoop 实验报告 Hadoop 实验报告 引言 Hadoop是一个开源的分布式存储和计算框架,被广泛应用于大数据处理和分析领域。本实验旨在通过搭建Hadoop集群,进行数据处理和分析,以验证Hadoop在大数据环境下的性能和可靠性。 实验环境 本次实验使用了3台虚拟机,每台虚拟机配置了4核CPU和8GB内存。其中一台作为NameNode和ResourceManager,其余两台作为DataNode和NodeManager。所有虚拟机运行的操作系统为CentOS 7.0。 实验步骤 1. 安装Hadoop 首先在每台虚拟机上安装Hadoop,并配置好环境变量和相关参数。然后在NameNode上配置HDFS和YARN,并在DataNode上配置HDFS和NodeManager。 2. 启动集群 依次启动NameNode、DataNode和ResourceManager、NodeManager,确保集群正常运行。 3. 数据处理 将一份大数据文件上传至HDFS,并通过MapReduce程序对数据进行处理和分析,例如统计单词频率或计算数据的平均值等。 4. 性能测试

通过在集群上运行不同规模的数据处理任务,记录下任务的运行时间和资源利用率,评估Hadoop的性能和扩展性。 实验结果 经过实验,我们得出了以下结论: 1. Hadoop集群的搭建和配置相对复杂,需要对Hadoop的各个组件有深入的了解和掌握。 2. Hadoop集群在处理大规模数据时表现出了良好的性能和扩展性,能够有效地利用集群资源进行并行计算。 3. Hadoop的容错机制能够保证集群在节点故障时的稳定运行,数据的可靠性得到了保障。 结论 通过本次实验,我们深入了解了Hadoop的工作原理和性能特点,验证了Hadoop在大数据环境下的可靠性和高效性。同时也发现了Hadoop在搭建和配置上的一些难点和挑战,这需要我们在实际应用中不断摸索和实践。相信随着大数据技术的不断发展,Hadoop将会在各个领域发挥越来越重要的作用。

熟悉常用的linux操作和hadoop操作实验报告

熟悉常用的linux操作和hadoop操作实验报告通过本次实验,熟悉常用的Linux操作和Hadoop操作,掌握基本的Linux命令和Hadoop命令,了解Hadoop的安装和配置,以及Hadoop集群的搭建和使用。 实验步骤: 1. Linux操作 1.1 Linux系统介绍 Linux是一种自由和开放源代码的类Unix操作系统。它是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多处理器的操作系统。 1.2 常用Linux命令 在Linux系统中有很多常用的命令,例如ls、cd、cat、grep等,这些命令常常用于查看文件和目录、移动和复制文件、编辑文件、搜索文件和文件夹等。 2. Hadoop操作 2.1 Hadoop介绍 Hadoop是一个开源的分布式计算系统,它可以处理大规模数据的存储和处理。Hadoop包括两个主要的组件:HDFS和MapReduce。 2.2 Hadoop安装和配置 Hadoop的安装和配置需要进行以下步骤: 1)下载Hadoop软件包并解压缩 2)设置Hadoop的环境变量

3)配置Hadoop的主机名和IP地址 4)配置Hadoop的核心配置文件 5)启动Hadoop服务 2.3 Hadoop集群的搭建和使用 Hadoop集群的搭建需要进行以下步骤: 1)配置每个节点的主机名和IP地址 2)在每个节点上安装Hadoop软件包并解压缩 3)配置Hadoop的核心配置文件 4)启动Hadoop服务 在Hadoop集群中,可以使用Hadoop的命令行工具来进行数据的上传和下载、数据的处理和分析等操作。 实验结论: 通过本次实验,我们掌握了基本的Linux命令和Hadoop命令,了解了Hadoop的安装和配置,以及Hadoop集群的搭建和使用。这些知识将有助于我们更好地理解和应用Hadoop分布式计算系统,提高我们的数据处理和分析能力。

大数据hadoop实训报告

大数据hadoop实训报告 摘要:本文旨在报告完成的一次Hadoop实训活动的过程,总结使用Hadoop的运行特点,以及对大数据分析运行的经验总结。本次实训中,学习者使用Hadoop与Hive进行数据清洗,数据建模以及分析,熟练掌握了Hadoop技术的应用,并获得了一定的数据分析和处理能力。 关键词:Hadoop;据分析;据清洗; Hive 1.言 近年来,随着物联网、云计算及大数据技术的飞速发展,大数据已经成为当今经济发展的最重要的基础设施,大数据的处理和分析已经不可忽视。Hadoop平台是当今大数据平台的主流,拥有众多企业用户,并且在很多行业取得了重大成绩,如金融、医疗等。本文就Hadoop作为一种新兴联想大数据技术,介绍了一次Hadoop实训活动的流程及结果,同时从中总结出了运行Hadoop平台的经验和能力。 2.法 本次实训是在一起Hadoop项目实施中,安排的一次实训活动。该项目的目的是将现有的数据进行清洗,重新建模,实现大数据分析及挖掘。实训活动的内容包括: (1)Hadoop的安装及配置:学习者安装并完成了Hadoop的配置,学会了在Linux环境下,利用Hadoop的众多命令来构建系统环境。 (2)Hive的使用:学习者在了解了Hive的功能与作用之后,

学会了应用Hive将原始数据集清洗,以及实现数据建模,分析等功能。 (3)大数据分析:学习者运用Hadoop,实现了数据的分析,熟练掌握了批处理、流式处理等技术,实现了实际环境中的大数据分析。 3.果 实训结果显示,学习者可以熟练运用Hadoop及Hive进行大数据的清洗、建模及分析。 使用Hadoop进行数据处理时,学习者发现,自主开发编写mapreduce程序,运行结果比使用hive运行更快;说明在构建系统环境时,合理运用技术可以大大提升Hadoop的运行效率。 4.结论 本次实训活动比较成功的完成了Hadoop及Hive的安装、使用及数据分析挖掘的任务,使学习者在实战中积累了一定的数据分析及处理能力,同时总结出运行Hadoop平台的经验,提升了学习者的应用能力。

hadoop单机实验总结

hadoop单机实验总结 Hadoop单机实验总结 本文将对Hadoop单机实验进行总结,主要包括Hadoop的安装与配置、基本概念和操作、实验过程以及经验教训等方面的内容。 一、Hadoop的安装与配置 1. 下载Hadoop安装包并解压,配置Java环境变量。 2. 修改hadoop-env.sh文件,设置JAVA_HOME变量。 3. 配置hadoop的核心文件hadoop-core.xml,设置Hadoop的基本参数。 4. 配置hdfs-site.xml,设置Hadoop分布式文件系统的相关参数。 5. 配置mapred-site.xml,设置Hadoop的MapReduce参数。 二、基本概念和操作 1. Hadoop的核心是分布式存储和计算,其中分布式存储使用HDFS,分布式计算使用MapReduce。 2. Hadoop的文件系统HDFS具有高容错性和高可用性,数据会被切分成多个块并存储在不同的机器上。 3. Hadoop的MapReduce是一种并行计算模型,可以将计算任务分解成多个子任务并行处理。 4. 使用Hadoop的命令行工具可以对文件系统进行操作,如上传文件、创建目录、查看文件内容等。

5. 使用Hadoop的管理界面可以监控集群的运行状态、查看任务执行情况等。 三、实验过程 1. 在本地搭建一个单节点Hadoop集群,启动HDFS和MapReduce。 2. 使用Hadoop的命令行工具上传文件到HDFS中。 3. 编写一个简单的MapReduce程序,实现词频统计功能。 4. 提交MapReduce作业并查看执行情况。 5. 使用Hadoop的管理界面监控作业的运行情况。 四、经验教训 1. 在安装和配置Hadoop时,要仔细检查各个配置文件的参数是否正确,避免出现错误导致集群无法正常启动。 2. 在编写MapReduce程序时,要注意输入和输出的格式,确保程序能够正确读取输入数据和输出结果。 3. 提交作业前,要仔细检查作业的参数设置是否正确,避免浪费资源或导致作业执行失败。 4. 在使用Hadoop的管理界面监控作业时,要及时查看日志和错误信息,帮助定位问题并进行调优。 通过本次Hadoop单机实验,我深入了解了Hadoop的安装与配置、基本概念和操作,掌握了使用Hadoop进行分布式存储和计算

hadoop的安装与配置实验原理

hadoop的安装与配置实验原理 主题:Hadoop的安装与配置实验原理 导语: 随着大数据时代的到来,数据的处理和分析变得越来越重要。Hadoop作为目前最流行的分布式数据处理框架之一,为我们提供了一种高效、可扩展的方式来处理大规模的数据。而要使用Hadoop进行数据处理,首先需要完成Hadoop的安装和配置。本文将深入探讨Hadoop的安装与配置实验原理,并为读者提供具体的步骤和指导。 第一部分:Hadoop简介与原理概述 1.1 Hadoop的定义与作用 Hadoop是一个开源的分布式计算系统,它使用HDFS(Hadoop分布式文件系统)和MapReduce(分布式计算概念)来存储和处理大规模数据。Hadoop的设计目标是能够在普通的硬件上高效地存储和处理大数据集。 1.2 Hadoop的原理与特点 Hadoop的核心原理是基于分布式计算和分布式存储。它通过将大数据集划分为多个小的数据块,并将这些数据块分布式存储在多个服务器上,实现了数据的高可靠性和高可扩展性。Hadoop中的

MapReduce编程模型可以将复杂的数据处理任务划分为多个简单的Map和Reduce步骤,以实现并行计算,提升数据处理效率。 第二部分:Hadoop的安装与配置步骤 2.1 准备环境和工具 在开始安装Hadoop之前,需要确保操作系统中已安装Java开发环境,并具备一台或多台服务器用于组成Hadoop集群。还需要下载Hadoop的二进制文件以及相关配置文件。 2.2 安装Hadoop 将下载好的Hadoop二进制文件解压到指定目录,然后在配置文件中设置Hadoop的各项参数,包括HDFS和MapReduce的配置。配置项包括数据块大小、副本数、集群节点等。 2.3 配置Hadoop集群 需要配置Hadoop的主从节点关系,包括指定主节点和从节点IP位置区域,并将相关信息写入配置文件中。配置HDFS的相关参数,确保所有节点都能够访问和使用HDFS。配置MapReduce的相关参数,以便实现分布式计算。 2.4 启动Hadoop集群 按照指定的启动顺序,依次启动Hadoop的各个组件,包括HDFS和MapReduce。在启动过程中,可以通过查看日志文件来检查是否启动

虚拟化与云计算课程实验报告——Hadoop平台搭建

虚拟化与云计算 实 验 报 告

目录 一、实验目标 (1) 二、实验内容 (1) 三、实验步骤 (1) 四、实验遇到的问题及其解决方法 (24) 五、实验结论 (25)

一、实验目的 1.实验题目:配置和使用SAN存储 掌握在Linux上配置iSCSI target服务的方法。 2.实验题目:Hadoop&MapReduce 安装、部署、使用Hadoop-HDFS 配置运行MapReduce程序,使用MapReduce编程 二、实验内容 1.实验题目:配置和使用SAN存储 配置在Linux上iSCSI实现两台机器间的共享存储。 2.实验题目:Hadoop&MapReduce 1.掌握在集群上(使用虚拟机模拟)安装部署Hadoop-HDFS的方法。 2.掌握在HDFS运行MapReduce任务的方法。 3.理解MapReduce编程模型的原理,初步使用MapReduce模型编程。 三、实验步骤及实验结果 1.实验题目:配置和使用SAN存储 在实验1中我作为主机提供共享存储空间,实验地点是在机房,但是由于我当时没有截图所以回寝室在自己的电脑上重做,以下为主机步骤: 1.1 确定以root身份执行以下步骤 sudo su –

1.2 安装iSCSI Target软件 1.3 修改/etc/default/iscsitarget ISCSITARGET_ENABLE=true 1.4 创建共享存储 共享存储可以是logical volumes, image files, hard drives , hard drive partitions or RAID devices 例如使用image file的方法,创建一个10G大小的LUN: dd if=/dev/zero of=/storage/lun1.img bs=1024k count=10240

相关主题