尚硅谷大数据技术之安装VMWare

尚硅谷大数据技术之安装VMWare

(作者：尚硅谷大数据研究院)

尚硅谷大数据技术之ELK

第1章 Elasticsearch 概述 1.1 什么是搜索？ 百度：我们比如说想找寻任何的信息的时候，就会上百度去搜索一下，比如说找一部自己喜欢的电影，或者说找一本喜欢的书，或者找一条感兴趣的新闻（提到搜索的第一印象）。百度 != 搜索 1）互联网的搜索：电商网站，招聘网站，新闻网站，各种app 2）IT 系统的搜索：OA 软件，办公自动化软件，会议管理，日程管理，项目管理。 搜索，就是在任何场景下，找寻你想要的信息，这个时候，会输入一段你要搜索的关键字，然后就期望找到这个关键字相关的有些信息 1.2 如果用数据库做搜索会怎么样？ 如果用数据库做搜索会怎么样？ select * from products where product_name list “%牙膏%”商品id 商品名称商品描述 1高露洁牙膏2中华牙膏3 佳洁士牙膏4其他牙膏京东商城搜索框 5 …… 1万条 京东商城后台商品表逐条遍历 1）比如说“商品描述”字段的长度，有长达数千个，甚至数万个字符， 这个时候，每次都要对每条记录的所有文本进行扫描，判断包不包含我指定的这个关键词（比如说“牙膏”），效率非常低。 select * from products where product_name list “%生化机%” 2）还不能将搜索词拆分开来，尽可能去搜索更多的符合你的期望的结果， 比如输入“生化机”，就搜索不出来“生化危机”。 用数据库来实现搜索，是不太靠 谱的。通常来说，性能会很差的。 1千字的商品描述 1千字的商品描述 用数据库来实现搜索，是不太靠谱的。通常来说，性能会很差的。 1.3 什么是全文检索和Lucene ？ 1）全文检索，倒排索引 全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引擎数据库中的数据。

教你如何用VMware虚拟机安装系统

教你如何使用VMware虚拟机安装系统（ghost xp） 图文教程 [朦~.胧制作] Email：huil0925@https://www.sodocs.net/doc/e29293194.html, 一、准备 准备好虚拟机，我的版本是VMware? Workstation 7.1.1，还有xp系统 网上都有下载。 二、新建虚拟机系统 打开虚拟机软件后，文件----新建----虚拟机，弹出一个窗口如下 我们按默认选择就行了 下一步： 选择第二项，然后浏览，选择你下载的xp系统的位置，然后下一步

在版本里面有很多系统类别，我们可以下载相应的系统来安装 下一步，Easy Install信息可以不填，直接下一步： 在位置里我们可以选择这个 系统在硬盘里的位置 注意：默认设置会让该虚拟机系统 在硬盘里的大小动态增加，请确保 所在硬盘的可用空间（>=10GB） 如果只是装来玩玩，可以小一点 下一步： 因为这里做教程，我在最大硬盘大小 设置为20GB，大家可以根据需要设置

下一步，去掉前面的勾，然后点完成。 三、硬件条件设置 接下来设置 内存 处理器 CD/DVD 网络适配器 双击这些项目，会弹 出设置窗口 配置可以根据自己 电脑配置来设置 内存小了，虚拟机系 统会比较卡，内存大 了，本身的电脑会卡 Cpu设置也根据自 己电脑配置 网络一般选桥接， 系统装好后可以上 网 不行的话改NET， 或选其他，自己试试 确保CD/DVD里是你下载的系统的路径！ 四、安装 现在开始安装系统 可以点击工具栏中的三角形符号启动 启动后鼠标点击窗口内中心区域，意思是进入虚拟 机，此时鼠标箭头会消失，然后快速按F2进入BIOS设置 出现VMware图标时！！要快，如果点了鼠标箭头还在，那 就连续点击 如果要回到主机（你的电脑界面）同时按住ctrl和alt键

VM虚拟机安装及其系统安装教程

VM虚拟机基础普及+下载.汉化序列号+VM虚拟机下安装GHOST系统（图文教程） 9 VM6.0.2.59824虚拟机下载.汉化.注册码+主机和虚拟机同时上网的详细教程 一.虚拟机软件可以在一台电脑上模拟出来若干台PC，每台PC可以运行单独的操作系统而互不干扰，可以实现一台电脑“同时”运行几个操作系统，还可以将这几个操作系统连成一个网络。我最喜欢用的虚拟机是VMware。 二.使用虚拟机的好处 1、如果要在一台电脑上装多个操作系统，不用虚拟机的话，有两个办法：一是装多个硬盘，每个硬盘装一个操作系统。这个方法比较昂贵。二是在一个硬盘上装多个操作系统。这个方法不够安全，因为硬盘MBR是操作系统的必争之地，搞不好会几个操作系统同归于尽。而使用虚拟机软件既省钱又安全，对想学linux和unix的朋友来说很方便。 2、虚拟机可以在一台机器上同时运行几个操作系统，是SOHO开发一族的必备工具。有了虚拟机，在家里只需要一台电脑，或出差时只带着一个笔记本，就可以调试C/S、B/S的程序了。 3、利用虚拟机可以进行软件测试。 三.使用虚拟机的硬件要求 虚拟机毕竟是将两台以上的电脑的任务集中在一台电脑上，所以对硬件的要求比较高，主要是CPU、硬盘和内存。目前的电脑CPU多数是PIII以上，硬盘都是几十G，这样的配置已经完全能满足要求。关键是内存。内存的需求等于多个操作系统需求的总和。现在的内存已经很便宜，也不成为问题了。推荐使用1G以上内存。 四. vmware-tools 这个东西必须要知道是什么 VMware-tools说穿了就是Vmware提供的增强虚拟显卡和硬盘性能、以及同步虚拟机与主机时钟的驱动程序 VM-TOOLS 这个安装很简单一直点下一步就行了 五.如果你更多的喜欢用键盘来操作的话，你可以在下面表格中找到方便的快捷键。如果你已经改变了参数设置中的热键组合，请你用你所设置的快捷键替代这个快捷键表格中的Ctrl-Alt快捷键 快捷键执行命令

01_尚硅谷大数据之HBase简介

第1章HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE 技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable 利用GFS作为其文件存储系统，HBASE利用Hadoop HDFS作为其文件存储系统；Google 运行MAPREDUCE来处理Bigtable中的海量数据，HBASE同样利用Hadoop MapReduce来处理HBASE中的海量数据；Google Bigtable利用Chubby作为协同服务，HBASE利用Zookeeper作为对应。 1.2 HBase中的角色 1.2.1 HMaster 功能： 1) 监控RegionServer 2) 处理RegionServer故障转移 3) 处理元数据的变更 4) 处理region的分配或移除 5) 在空闲时间进行数据的负载均衡 6) 通过Zookeeper发布自己的位置给客户端 1.2.2 RegionServer 功能： 1) 负责存储HBase的实际数据 2) 处理分配给它的Region 3) 刷新缓存到HDFS 4) 维护HLog 5) 执行压缩

6) 负责处理Region分片 1.2.3 其他组件： 1) Write-Ahead logs HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。 2) HFile 这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。 3) Store HFile存储在Store中，一个Store对应HBase表中的一个列族。 4) MemStore 顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL 中之后，RegsionServer会在内存中存储键值对。 5) Region Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。 1.3 HBase架构

虚拟机vmware安装及使用详细图解教程

虚拟机vmware安装及使用详细图解教程 2010/06/12 15:56[未分类 ] 本文为vmware虚拟机安装及使用详细图解教程。希望对刚接触虚拟机的朋友有所帮助。（虚拟机虚拟机图解教程虚拟机教程vmware vmware教程） VMware是VMware公司出品的一个多系统安装软件。利用它，你可以在一台电脑上将硬盘和内存的一部分拿出来虚拟出若干台机器，每台机器可以运行单独的操作系统而互不干扰，这些“新”机器各自拥有自己独立的CMOS、硬盘和操作系统，你可以像使用普通机器一样对它们进行分区、格式化、安装系统和应用软件等操作，所有的这些操作都是一个虚拟的过程不会对真实的主机造成影响，还可以将这几个操作系统联成一个网络。 在提问区经常能看到网友们讨论操作系统安装和使用的问题，前段时间论坛的一位网友软驱坏了，非常想将XP下制作的启动盘刻在光盘上，让我帮他作个简单的ISO，发到对方邮箱之前我在VMware 上试了试免得报废他的盘片，还有的网友下载的N合一的操作系统打开后发现和网页中介绍的内容不一致，刻盘之前拿捏不准，其实这些问题都可以事先在VMware Workstation下安装的虚拟操作系统下试一试。 还有的朋友想搭建家庭局域网实现多机共享上网，想当黑客的为找寻“肉鸡”而苦恼，其实这些也都可以借助VMware Workstation来练练手，不过这些都属于VMware Workstation下较为高级的使用技巧，不是我这个普通用户今天讨论的范围，我这个帖子是写给第一次使用虚拟机的朋友看的，好了，废话少说进入正题吧。 一、安装VMware Workstation。 1、双击安装程序后来到VMware Workstation安装向导界面。 0）

VMware虚拟机安装过程之教程

一虚拟机VMware的安装 1、准备工作 1.需要软件VMware (文中使用的版本:VMware-WorkStation6.0.2) 最新推荐系统下载地址: https://www.sodocs.net/doc/e29293194.html,/soft/1/15/14468.html 2.需要系统镜像一个.(文中版本:深度XP SP2 V5.10) 新系统下载地址: GHOSTXP SP3 电脑城2010 元宵纯净版 2、开始安装 1.打开压缩包，发现里面有几个批处理，运行其中的“安装.bat”，即出现下图界 面， 等待完成后，就可以选择安装相关服务。即下图内容：

2.这个图（上图）中，选择1和3即可。1是连接网络必须。 3.注意看安装完成后的正确提示。

4.这样，虚拟机就部署完成了。 5.第一次运行该虚拟机,应该选择"新建虚拟机",安装工作环境也就是操作系统! 6.接下去就到了选择虚拟机的配置,"经典"和"自定义",其中"自定义"包含了"硬件兼容性"\"内存配置"等 等繁多的设置,我想,有足够理由让新手选择"经典"作为安装配置,继续下去~(选"经典") 7.这里要求选择你即将安装的操作系统类型以及相应版本.根据前面的准备工作,我们选择 Windows系列--XP专业版,如图,(注意别选到X64了....),继续"下一步",

8.这里要求选择添加的网络连接方式.我们选择默认的第1个内容,也就是"桥接".(关于网络的 连接方式区别,后面将会详细说明.),继续"下一步",

9.这里已经是这个配置的最后一个选择了.看图说明..... 二虚拟机VMware的使用 1、开始使用 1.第一次使用虚拟机未必就真的这么简单?没错...不过还有些设置和大家了解下. 其中如画面,我们先点击"编辑虚拟机设置",发现弹出的内容似曾相识,原来就是刚才的右边界面,

01_尚硅谷大数据之Hive基本概念

第1章Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 1.2 Hive的优缺点 1.2.1 优点 1）操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手） 2）避免了去写MapReduce，减少开发人员的学习成本。 3）Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合； 4）Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。5）Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。 1.2.2 缺点 1）Hive的HQL表达能力有限 （1）迭代式算法无法表达 （2）数据挖掘方面不擅长 2）Hive的效率比较低 （1）Hive自动生成的MapReduce作业，通常情况下不够智能化 （2）Hive调优比较困难，粒度较粗

1.3 Hive架构原理 HDFS MapReduce Meta store SQL Parser 解析器 Physical Plan 编译器Execution 执行器 Query Optimizer 优化器 Driver CLI JDBC Client Hive 架构 如图中所示，Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。 1）用户接口：Client CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive） 2）元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； 默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore 3）Hadoop 使用HDFS进行存储，使用MapReduce进行计算。 4）驱动器：Driver （1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。 （2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。

尚硅谷大数据技术之数仓开发规范

1.背景 为了避免底层业务变动对上层需求影响过大，屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数据，建设高内聚松耦合的数据组织，使数据从业务角度可分割，显得尤为重要。从整个集团业务条线出发，形成数据仓库总体概念框架，并对整个系统所需要的功能模块进行划分，明确各模块技术细节，建设一套完整的开发规范。 2.分层规范 ODS（原始数据层）：ODS层是数据仓库准备区，为DWD层提供基础原始数据。 DWD（明细数据层）：和ODS粒度一致的明细数据，对数据进行去重，脏数据过滤，空处理，保证数据质量。 DWS（服务数据层）：轻度汇总数据及建宽表(按主题)存放数据。 ADS（应用数据层）：存放应用类表数据。 3.表规范 3.1 命名 维表命名形式：dim_描述 事实表命名形式：fact_描述_[AB] 临时表命名形式：tmp_ 正式表名_ [C自定义序号] 宽表命名形式：dws_主题_描述_[AB] 备份表命名形式：正式表名_bak_yyyymmdd 表命名解释： 1）表名使用英文小写字母，单词之间用下划线分开，长度不超过40个字符，命名一般控制在小于等于6级。 2）其中ABC第一位"A"时间粒度：使用"c"代表当前数据，"h"代表小时数据，"d"代表天

数据，"w"代表周数据，"m"代表月数据，"q"代表季度数据， "y"代表年数据。 3）其中ABC的第二位"B"表示对象属性，用"t"表示表，用"v"表示视图。 4）其中ABC的第三位"C"自定义序号用于标识多个临时表的跑数顺序。 3.2 注释 注释要结合表的英文名，要求注释简洁明了，体现出表的业务出处、主题和用途。3.3 存储格式 所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。在数仓中建表默认用的都是PARQUET存储格式，相关语句如下所示：STORED AS INPUTFORMAT ‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat’ 3.5 字符集 Hadoop和hive 都是用utf-8编码的，在建表时可能涉及到中文乱码问题，所以导入的文件的字符编码统一为utf-8格式。 3.6 约定 理论上在数仓落地的表不应该出现null未知类型，对于可能出现null的字段，如果为字符型统一为空字符串，如果是数值则给0。 4.字段规范 4.1 命名

VMware虚拟机安装过程

VMware虚拟机安装过程 安装介绍: VMware Workstation虚拟机是一个在Windows或Linux计算机上运行的应用程序，它可以模拟一个基于x86的标准PC环境。这个环境和真实的计算机一样，都有芯片组、CPU、内存、显卡、声卡、网卡、软驱、硬盘、光驱、串口、并口、USB控制器、SCSI控制器等设备，提供这个应用程序的窗口就是虚拟机的显示器。 在使用上，这台虚拟机和真正的物理主机没有太大的区别，都需要分区、格式化、安装操作系统、安装应用程序和软件，总之，一切操作都跟一台真正的计算机一样。 安装过程 下面通过例子，介绍使用VMware Workstation创建虚拟机的方法与步骤。 1.运行VMware Workstation 6，单击“File→New→Virtual Machine”命令，进入创建虚拟机向导，或者直接按“Crtl+N”快捷键同样进入创建虚拟机向导。 2.在弹出的欢迎页中单击“下一步”按钮。 3.在“Virtual machine configuration”选项区域内选择“Custom”单选按钮。 4.在Choose the Virtual Machine Hardware Compatibility页中，选择虚拟机的硬件格式，可以在Hardware compatibility下拉列表框中，在VMware Workstation 6、VMware Workstation 5或VMware Workstation 4三者之间进行选择。通常情况下选择Workstation 6的格式，因为新的虚拟机硬件格式支持更多的功能，选择好后单击“下一步”按钮。 5.在Select a Guest Operating System对话框中，选择要创建虚拟机类型及要运行的操作系统，这里选择Windows 2000 Professional操作系统，单击“下一步”按钮。 6.在Name the Virtual Machine对话框中，为新建的虚拟机命名并且选择它的保存路径。 7.在Processors选项区域中选择虚拟机中CPU的数量，如果选择Two，主机需要有两个CPU或者是超线程的CPU。 8.在Memory for the Virtual Machine页中，设置虚拟机使用的内存，通常情况下，对于Windows 98及其以下的系统，可以设置64MB；对于Windows 2000/XP，最少可以设置96MB；对于Windows 2003，最低为128MB；对于Windows Vista虚拟机，最低512MB。 9.在Network Type页中选择虚拟机网卡的“联网类型” 选择第一项，使用桥接网卡（VMnet0虚拟网卡），表示当前虚拟机与主机（指运行VMware Workstation软件的计算机）在同一个网络中。 选择第二项，使用NAT网卡（VMnet8虚拟网卡），表示虚拟机通过主机单向访问主机及主机之外的网络，主机之外的网络中的计算机，不能访问该虚拟机。 选择第三项，只使用本地网络（VMnet1虚拟网卡），表示虚拟机只能访问主机及所有使用VMnet1虚拟网卡的虚拟机。主机之外的网络中的计算机不能访问该虚拟机，也不能被该虚拟机所访问。 选择第四项，没有网络连接，表明该虚拟机与主机没有网络连接。 10.在Select I/O Adapter Type页中，选择虚拟机的SCSI卡的型号，通常选择默认值即可。

尚硅谷大数据项目之实时项目2(日活需求)

第1章实时处理模块 1.1 模块搭建 添加scala框架 1.2 代码思路 1）消费kafka中的数据； 2）利用redis过滤当日已经计入的日活设备； 3）把每批次新增的当日日活信息保存到HBASE或ES中；

4）从ES中查询出数据，发布成数据接口，通可视化化工程调用。 1.3 代码开发1 ---消费Kafka 1.3.1 配置 1）config.properties # Kafka配置 kafka.broker.list=hadoop102:9092,hadoop103:9092,hadoop104:9092 # Redis配置 redis.host=hadoop102 rdis.port=6379 2）pom.xml com.atguigu.gmall2019.dw dw-common 1.0-SNAPSHOT org.apache.spark spark-core_2.11 org.apache.spark spark-streaming_2.11 org.apache.kafka kafka-clients 0.11.0.2 org.apache.spark spark-streaming-kafka-0-8_2.11 redis.clients jedis 2.9.0 io.searchbox

详细的vmware 虚拟机7.0图文安装教程

详细的vmware 虚拟机7.0图文安装教程 WIN7已经发布很久了，相信很多朋友都已经用上了WIN7系统，但是WIN7下存在的软件不兼容性依然存在，有的软件不得不在XP下运行，装双系统的朋友可以重新启动XP运行，那单系统的呢?不用急，今天笔者教给大家一个好方法，免去大家的这些疑虑，利用虚拟机。 推荐最新的vmarewoksation7.1， 下面我们开始安装： 选择typical（典型安装）免去很多繁琐的步骤 选择你的虚拟机想要安装的位置之后全部Next就行啦！

安装需要一段时间 提示你输VMware7.1.1序列号时可用VM7.1 KeyGen注册， 安装结束后会提示你重启。 重启后利用360开机优化可以看到多了好几项启动项，如果你只是偶尔的使用虚拟机或者只是为了体验就把它们全部关闭，过多的开机项会拖慢系统启动。以后当你需要启动虚拟机时只需要在控制面板中找到系统安全- 管理工具服务在其中找到VMARE开头的都启动就可以了。其实可以完全禁止启动也不会出现问题，本人亲测。

可以了，虚拟机安装成功。下面准备我们的汉化工作，毕竟咱英文看得少啊！ 解压汉化文件。把汉化文件直接复制到虚拟机文件夹中，也就是vmware的根目录内，替换原文件即可。替换时，个别文件可能提示无法替换，请在任务管理器中先结束相应文件进程，之后在替换。 重新打开，汉化成功! 下面单击新建虚拟机，本文以GHOST XP为例 标准（推荐）下一步

选择一个事先准备好的系统镜像，它提示无法检测镜像是哪个系统，不用管他，稍后可以自己选择。下一步（有驱动器的话也可以直接选择顶上的驱动器路径。） 我用的是xp的系统，所以默认就好了，大家根据自己的需要选择。下一步 还提示输入xp注册码， 不用管直接下一步 输入安装系统的名称和路径。下一步

VMware虚拟机使用图解

如何配置安装好的VMware虚拟机全程图解 本文简介：下面将把VMware Workstation软件的完整使用过程分为：建立一个新的虚拟机、配置安装好的虚拟机、配置虚拟机的网络这三个部分，使用的是最新的VMware4。 VMware Workstation是VMware公司的专业虚拟机软件，可以虚拟现有任何操作系统，而且使用简单、容易上手。现如今有很多人都拥有电脑，但多数人都只有一两台，想组建一个自己的局域网或者是做个小规模的实验一台机器是不够的，最少也要个两三台，可为了这再买电脑就太不值了。好在有许多虚拟机可以帮我们解决这个问题。虚拟机可以在一台电脑上虚拟出很多的主机，只要真实主机的配置足够就可以。 下面将把VMware Workstation软件的完整使用过程分为：建立一个新的虚拟机、配置安装好的虚拟机、配置虚拟机的网络这三个部分，使用的是最新的VMware4。 一、安装建立一个新的虚拟机 首先让大家看看VMware的界面 2.我们来建立一个新的虚拟机向导

3.选择普通安装或者是自定义。这里大家选自定义，后面可以自行规划设备，内存和硬盘容量 4.选择想要虚拟的系统

5.给虚拟机起个名字，指定它的存放位置 6.分配内存大小

7.网络设置模式。这里比较复杂，安装的时候可以先随便选一个，装好后也可以改，但千万不要选最后一个，否则你将无法创建网络了。关于这三者之间的区别和怎样使用虚拟机连接到internet会在后面介绍。 8.创建一块磁盘。当第一次建立虚拟机时，请选择第一项，第二项适用于建立第二个或更多虚拟机，即使用已经建立好的虚拟机磁盘，这样可以减少虚拟机占用的真实磁盘空间。第三项则允许虚拟机直接读写磁盘空间，比较危险，所以适合熟悉使用磁盘的高级用户，如果操作失误会把真实磁盘里的内容删掉的。

【单子】给你一台电脑复制机---VMware虚拟机安装使用教程

【单子】给你一台电脑复制机---VMware虚拟机安装使用教程 ZOL硬件论坛 单子 前言：相信很多新手朋友有这样的经历，看到一个新的系统，很想装上去试一试，看看好不好，但又不想破坏现在正在使用的系统，有没有其他的电脑。又或者说，我们想要组一个局域网，来做一些网络实验，但只有一台电脑，没有搭建的平台，实验无法进行，又或者…………………于是，虚拟机就出现了。 扫盲：虚拟机，就是在硬件电脑上，虚拟N台不同配置（CPU一样）的电脑，自由搭配配置的高低。而今天的主角----vmware，是现今最流行，使用人数最多的虚拟机软件。 =====================我是低调的分割线 =======================

第一步： 我们先下载最新的VMware（简称VM）PS：大家不一定要下载我推荐的这个，可以自己去下载别的。比如汉化版的 Vmware，最新版本为7.1，下载地址： https://www.sodocs.net/doc/e29293194.html,/down?cid=174CBBB2E9281E84B1B38FE8B69F7 87BAFF8F9B7 Vmware7.1汉化包下载地址（这个直接复制到迅雷）： http://110.96.193.10:9203/731339DA45F4530F00C40C772C94B23C34EA 04E492B39010/https://www.sodocs.net/doc/e29293194.html,/month_1006/1006012150c2c618a6397ef4 7a.rar =====================我是低调的分割线 ======================= 第二步： 安装VM，安装汉化包补丁 双击安装VM

VMware虚拟机安装、配置、搭建网络全程图解

VMware Workstation是VMware公司的专业虚拟机软件，可以虚拟现有任何操作系统，而且使用简单、容易上手。现如今有很多人都拥有电脑，但多数人都只有一两台，想组建一个自己的局域网或者是做个小规模的实验一台机器是不够的，最少也要个两三台，可为了这再买电脑就太不值了。好在有许多虚拟机可以帮我们解决这个问题。虚拟机可以在一台电脑上虚拟出很多的主机，只要真实主机的配置足够就可以。 下面将把VMware Workstation软件的完整使用过程分为：建立一个新的虚拟机、配置安装好的虚拟机、配置虚拟机的网络这三个部分，使用的是最新的VMware4。 一、安装建立一个新的虚拟机 首先让大家看看VMware的界面 2.我们来建立一个新的虚拟机向导 3.选择普通安装或者是自定义。这里大家选自定义，后面可以自行规划设备，内存和硬盘容量

4.选择想要虚拟的系统 5.给虚拟机起个名字，指定它的存放位置

6.分配内存大小 7.网络设置模式。这里比较复杂，安装的时候可以先随便选一个，装好后也可以改，但千万不要选最后一个，否则你将无法创建网络了。关于这三者之间的区别和怎样使用虚拟机连接到internet会在后面介绍。

8.创建一块磁盘。当第一次建立虚拟机时，请选择第一项，第二项适用于建立第二个或更多虚拟机，即使用已经建立好的虚拟机磁盘，这样可以减少虚拟机占用的真实磁盘空间。第三项则允许虚拟机直接读写磁盘空间，比较危险，所以适合熟悉使用磁盘的高级用户，如果操作失误会把真实磁盘里的内容删掉的。 9.设置虚拟机磁盘容量。第一项可以定义磁盘大小。第二项允许虚拟机无限使用磁盘空间，但需要真实磁盘足够大。第三项则限制了每块虚拟磁盘的最大容量为2G。

在VMware虚拟机中安装redhat linux操作系统图解

在VMware虚拟机中安装redhat linux操作系统图解 最初在学linux时，在虚拟机上安装linux的确花了不少时间，遇到了不少问题，随着linux学习的深入，我也曾在虚拟机上安装了Ubuntu，还尝试了在电脑上直接安装redhat.现在总结了一下自己遇到的一些问题，以及我逛百度知道时网友遇到的问题，以RedHat Linux 5企业版在VMware虚拟机上的安装做一个详细一点的图解教程，希望可以给刚接触linux的朋友一点帮助 (由于图片太多，我将该教程分为上，下来两部分进行讲解)。 一.准备安装所需要的软件： 1.VMware虚拟机的下载和安装在我的博客中已经提到，这里就不再详细阐述。 2.先推荐一个redhat的下载地址，RedHat Linux 5企业版： https://www.sodocs.net/doc/e29293194.html,/content，这个比较全面，但是也比较大（2.68G），如果自己有合适的linux安装版本，可以不使用这个。 二.在VMware虚拟机为RedHat Linux创建新的虚拟机： 1.打开虚拟机，选择新建虚拟机：

2.下一步：

3.选择自定义（这里选择典型可能会在安装过程中出现一个硬件找不到的错误，所以推荐选择自定义），然后点下一步： 4.下一步：

5.操作系统选择linux，版本不用修改： 6.命名，并选择虚拟操作系统的存放位置（位置所在硬盘空间最好大于5G）：

7.下一步： 8.给虚拟机分配内存（这个自己看情况，我的电脑内存是512，给虚拟机分配了256）

9.选择虚拟机网络类型（推荐使用桥接网络） 10.下一步

大数据技术之MySQL高级

尚硅谷大数据技术之MySQL高级 版本V3.0 第1章MySQL简介 1.1 什么是MySQL （1）MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle 公司。 （2）Mysql是开源的，可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统。 （3）MySQL使用标准的SQL数据语言形式。 （4）MySQL可以允许于多个系统上，并且支持多种语言。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等。 （5）MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB。 1.2 在Linux上安装MySQL 1.2.1 检查当前系统是否安装过MySQL CentOS 6命令：rpm -qa|grep mysql 默认Linux在安装的时候，自带了mysql相关的组件。 先卸载系统自带的mysql，执行卸载命令rpm -e --nodeps mysql-libs 1

CentOS 7命令：rpm -qa|grep mariadb 不检查依赖卸载 检查/tmp目录的权限是否是满的 1.2.2 Mysql的安装 安装的版本是mysql 5.7，官网下载地址：https://www.sodocs.net/doc/e29293194.html,/downloads/mysql/ 1）通过Xft5文件传输工具将rpm安装包传输到opt目录下 2）执行rpm安装，必须按照下面的顺序安装 1)rpm -ivh mysql-community-common-5.7.16-1.el7.x86_64.rpm 2)rpm -ivh mysql-community-libs-5.7.16-1.el7.x86_64.rpm 3)rpm -ivh mysql-community-client-5.7.16-1.el7.x86_64.rpm 4)rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm 2

07_尚硅谷大数据之HBase优化

第7章HBase优化 7.1 高可用 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1）关闭HBase集群（如果没有开启则跳过此步） [atguigu@hadoop102 hbase]$ bin/stop-hbase.sh 2）在conf目录下创建backup-masters文件 [atguigu@hadoop102 hbase]$ touch conf/backup-masters 3）在backup-masters文件中配置高可用HMaster节点 [atguigu@hadoop102 hbase]$ echo hadoop103 > conf/backup-masters 4）将整个conf目录scp到其他节点 [atguigu@hadoop102 hbase]$ scp -r conf/ hadoop103:/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/ [atguigu@hadoop102 hbase]$ scp -r conf/ hadoop104:/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/ 5）打开页面测试查看 0.98版本之前：http://hadooo102:60010 0.98版本及之后：http://hadooo102:16010 7.2 预分区 每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey 范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数据索要投放的分区提前大致的规划好，以提高HBase性能。 1）手动设定预分区 hbase> create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000'] 2）生成16进制序列预分区 create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'} 3）按照文件中设置的规则预分区 创建splits.txt文件内容如下： create 'staff3','partition3',SPLITS_FILE => 'splits.txt' 4）使用JavaAPI创建预分区

vmware 虚拟机7.0图文安装教程

史上最详细的vmware 虚拟机7.0图文安装教程 zch8341 2010-10-24 22:07:081# 本帖最后由 zch8341 于 2010-10-24 22:09 编辑 WIN7已经发布很久了，相信很多朋友都已经用上了WIN7系统，但是W IN7下存在的软件不兼容性依然存在，有的软件不得不在XP下运行，装双系统的朋友可以重新启动XP运行，那单系统的呢?不用急，今天笔者教给大家一个好方法，免去大家的这些疑虑，利用虚拟机。 推荐最新的vmarewoksation7.1， 下面我们开始安装： 开始画面

Next 选择typical（典型安装）免去很多繁琐的步骤

选择你的虚拟机想要安装的位置之后全部Next就行啦！ 安装需要一段时间

提示你输VMware7.1.1序列号时可用VM7.1 KeyGen注册，

安装结束后会提示你重启。 重启后利用360开机优化可以看到多了好几项启动项，如果你只是偶尔的使用虚拟机或者只是为了体验就把它们全部关闭，过多的开机项会拖慢系统启动。以后当你需要启动虚拟机时只需要在控制面板中找到系统安全- 管理工具服务在其中找到VMARE开头的都启动就可以了。其实可以完全禁止启动也不会出现问题，本人亲测。 可以了，虚拟机安装成功。下面准备我们的汉化工作，毕竟咱英文看得少啊！

解压汉化文件。把汉化文件直接复制到虚拟机文件夹中，也就是vmwa re的根目录内，替 换原文件即可。替换时，个别文件可能提示无法替换，请在任务管理器中先结束相应文件 进程，之后在替换。 重新打开，汉化成功! 下面单击新建虚拟机，本文以GHOST XP为例 标准（推荐） 下一步

VMware虚拟机下安装linux模板

VMware Workstation 虚拟机的安装收藏 ★想试Linux，不用重新分区，就像安装Office软件一样，让你直接在Windows中尝鲜。 ★可以反复练习Fdisk、PQmagic等危险软件的使用方法而无需担心破坏实际的计算机系统。 ★一台电脑变成三、四台，同时运行多个操作系统不再是天方夜谭，只要删除一个文件夹即可完成操作系统卸载。 ★组建虚拟的局域网，轻松学习网管知识，进行各种网络试验，根本不必购买交换机、路由器以及网线等网络设备。 1.什么是虚拟机？ 所谓虚拟计算机(简称虚拟机)，实际上就是一种应用软件，广义上来说Word、WPS也算是虚拟机，只不过它们是只能做文字处理的机器而已。今天将给大家介绍的狭义的虚拟机软件VMware实际上也只是一种应用软件，其特别之处在于，由它创建的虚拟机与真实的计算机几乎一模一样，不但虚拟有自己的CPU、内存、硬盘、光驱，甚至还有自己的BIOS。在这个虚拟机上，可以安装Windows、Linux等真实的操作系统，及各种应用程序。 2.该选哪个虚拟机软件？ 目前流行的虚拟机软件有VMware和Virtual PC，它们都能在Windows系统上虚拟出多个计算机，用于安装Linux、OS/2、FreeBSD等其他操作系统。微软在2003年2月份收购Connectix后，很快发布了Microsoft Virtual PC 2004。但出于种种考虑，新发布的Virtual PC 2004已不再明确支持Linux、FreeBSD、NetWare、Solaris等操作系统，只保留了OS/2，如果要虚拟一台Linux计算机，只能自己手工设置。相比而言，VMware不论是在多操作系统的支持上，还是在执行效率上，都比Virtual PC 2004明显高出一筹，这也是本文选择它的理由之一。 电脑一台变两台，学用Linux不再有后顾之忧 VMware 4.5有Workstation、GSX server等多种版本，其中Windows版的Workstation 应用最广，本文即以它为基础进行各种实战演习。 实例1:在现有Windows中再装个Linux 本例，我们将在实际的Windows XP中(宿主计算机)再虚拟出一台电脑(虚拟机)，并在上面安装Linux系统，这样，你就可以放心大胆地进行各种Linux练习而无须担心操作不当导致宿主机系统崩溃了。并且你可以举一反三，将一台电脑变成三台、四台，再分别安装上其他的系统。 老鸟支招 什么样配置的电脑适合建立虚拟机？ 当硬件配置达不到要求时，虚拟机运行速度会很慢，甚至不能运行，VMware的配置要求如下。

02_尚硅谷大数据之Hive安装

第2章Hive安装 2.1 Hive安装地址 1）Hive官网地址： https://www.sodocs.net/doc/e29293194.html,/ 2）文档查看地址： https://https://www.sodocs.net/doc/e29293194.html,/confluence/display/Hive/GettingStarted 3）下载地址： https://www.sodocs.net/doc/e29293194.html,/dist/hive/ 4）github地址： https://https://www.sodocs.net/doc/e29293194.html,/apache/hive 2.2 Hive安装部署 1）Hive安装及配置 （1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下 （2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面 [atguigu@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ （3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive [atguigu@hadoop102 module]$ mv apache-hive-1.2.1-bin/ hive （4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh [atguigu@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh （5）配置hive-env.sh文件 （a）配置HADOOP_HOME路径 export HADOOP_HOME=/opt/module/hadoop-2.7.2 （b）配置HIVE_CONF_DIR路径 export HIVE_CONF_DIR=/opt/module/hive/conf 2）Hadoop集群配置 （1）必须启动hdfs和yarn [atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh