实验3 Hadoop安装与配置2-伪分布式

实验报告封面

课程名称： Hadoop大数据处理课程代码： JY1124 任课老师：宁穗实验指导老师: 宁穗

实验报告名称：实验3 Hadoop安装与配置2

学生：

学号：

教学班：

递交日期：

签收人：

我申明，本报告的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。

申明人(签名):

实验报告评语与评分：

评阅老师签名：

一、实验名称：Hadoop安装与配置

二、实验日期：2015年9 月25 日

三、实验目的：

Hadoop安装与配置。

四、实验用的仪器和材料：

安装环境:以下两个组合之一

1.硬件环境：存ddr3 4G及以上的x86架构主机一部

系统环境：windows 、linux或者mac os x 软件环境：运行vmware或者virtualbox

(2) 存ddr 1g及以上的主机两部及以上

五、实验的步骤和方法：

本次实验重点在ubuntu中安装jdk以及hadoop。

一、关闭防火墙

sudo ufw disable

iptables -F

二、jdk的安装

1、普通用户下添加grid用户

2、准备jdk压缩包，把jdk压缩包放到以上目录（此目录可自行设置）

3、将jdk压缩包解压改名

改名为jdk：mv jdk1.7.0_45 jdk

移动到/usr目录下：mv jdk /usr（此目录也可自行设置，但需与配置文件一致）4、设置jdk环境变量

此采用全局设置方法，更改/etc/profile文件

sudo gedit /etc/profile

添加（根据情况自行设置）

export JA VA_HOME=/usr/jdk

export JRE_HOME=/usr/ jdk/jre

export CLASSPATH=.:$JA V A_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PA TH=$JA V A_HOME/bin: $JRE_HOME/ bin: $PATH

然后保存。

5、检验是否安装成功

java -version

二、ssh免密码

1、退出root用户，su grid

生成密钥

ssh-keygen –t rsa

三、hadoop安装和配置

1、下载解压hadoop安装包

2、进入conf目录，修改hadoop-env.sh文件，JAVA_HOME改为jdk安装目录

修改core-site.xml文件，设置namenode节点

注意：需在hadoop下创建一个tmp目录，跟以下设置对应。

修改hdfs-site.xml文件

修改mapred-site.xml文件

所有的节点都修改/etc/hosts，使彼此之间都能把主机名解析为ip ，需转到root用户下修改。

修改masters和slaves文件

3、格式化分布式文件系统

ROSEHA安装及配置手册.

安装配置指南 (第二版) ROSE

目录 第一章绪论 windows NT 版 ROSEHA 软件 特点 灵活的配置 ROSEHA 硬件部分 ROSEHA软件示意图 第二章准备工作 资源对象的属性 设置cluster的过程 卷标 安装应用软件 第三章安装和卸载 开始安装之前 安装 ROSEHA 获得 ROSEHA 认证号 卸载 ROSEHA 第四章 ROSEHA 管理工具 预览 私有网络管理 GUI（图形化界面） 资源对象管理 GUI 菜单条 工具条 cluster 可视面板 消息面板 状态条 第三方管理工具 控制面板 文件管理 磁盘管理 事件查看 磁盘阵列管理 私有网络管理

资源对象管理 Cluster 操作 Cluster 操作参数选择 开始 cluster 操作 停止 cluster 操作 第五章私有网络管理 私有网络下拉菜单 TCP/IP socket 私有网络 RS-232 串口私有网络 公用驱动器私有网络 工具条按钮 删除私有网络 查看私有网络 私有网络和服务器状态 第六章资源对象管理 创建资源对象 服务器属性表 配置卷对象属性表 配置IP 地址对象属性表 配置共享文件对象属性表 配置LAN 管理对象属性表 配置Microsoft SQL Server 对象属性表 配置Sybase SQL server 对象属性表 配置NT 服务对象属性表 配置用户自定义对象属性表 查看资源对象 删除资源对象 绑定到 cluster 撤消绑定到 cluster 资源切换 资源接管 服务器切换 服务器接管 资源对象分类 资源对象状态

附录1 MSSQL SERVER 实例 附录2 . WWW资源层次实例 附录3 FAQ 附录4 NT Cluster 软件维护信息

zabbix安装配置

Zabbix 一安装配置： 环境搭建： VMware? Workstation 12 Pro (12.0.0 build-2985596) CentOS-7-x86_64-DVD-1511.iso (user:root password: toor00 ) zabbix-3.0.3.tar 安装过程： Installation from sources You can get the very latest version of Zabbix by compiling it from the sources. A step-by-step tutorial for installing Zabbix from the sources is provided here. 1 Installing Zabbix daemons 1 Download the source archive Go to the Zabbix download page and download the source archive. Once downloaded, extract the sources, by running: $ tar -zxvf zabbix-3.0.0.tar.gz Enter the correct Zabbix version in the command. It must match the name of the downloaded archive. 2 Create user account For all of the Zabbix daemon processes, an unprivileged user is required. If a Zabbix daemon is started from an unprivileged user account, it will

LVS keepalived负载均衡高可用 配置安装大全

LVS+Keepalived实现高可用集群 一、基础介绍 (2) 二、搭建配置LVS-NA T模式 (2) 三、搭建配置LVS-DR模式 (4) 四、另外一种脚本方式实现上面LVS-DR模式 (6) 五、keepalived + LVS(DR模式) 高可用 (8) 六、Keepalived 配置文件详细介绍 (11)

一、基础介绍 (一)根据业务目标分成三类： High Availability 高可用 Load Balancing 负载均衡 High Performance 高性能 (二)实现集群产品： HA类： rhcs、heartbeat、keepalived LB类： haproxy、lvs、nginx、f5、piranha HPC类： https://www.sodocs.net/doc/327379051.html,/index/downfile/infor_id/42 (三)LVS 负载均衡有三种模式： LVS-DR模式（direct router）直接路由模式 进必须经过分发器，出就直接出 LVS-NAT模式（network address translation） 进出必须都经过分发器 LVS-TUN模式（ip tunneling）IP隧道模式 服务器可以放到全国各地 二、搭建配置LVS-NAT模式 1 、服务器IP规划： DR服务器添加一张网卡eth1，一个网卡做DIP，一个网口做VIP。 设置DIP、VIP IP地址: DIP的eth1和所有RIP相连同一个网段 CIP和DIP的eth0(Vip)相连同一个网段 Vip eth0 192.168.50.200 Dip eth1 192.168.58.4 客户机IP： Cip 192.168.50.3

hadoop2.7.2 伪分布式安装

hadoop：建立一个单节点集群伪分布式操作 安装路径为：/opt/hadoop-2.7.2.tar.gz 解压hadoop: tar -zxvf hadoop-2.7.2.tar.gz 配置文件 1. etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.8 2. etc/hadoop/core-site.xml fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir file:/opt/hadoop-2.7.2/tmp 3. etc/hadoop/hdfs-site.xml https://www.sodocs.net/doc/327379051.html,.dir file:/opt/hadoop-2.7.2/dfs/name dfs.datanode.data.dir file:/opt/hadoop-2.7.2/dfs/data dfs.replication 1 dfs.webhdfs.enabled true

RoseHA 8.9 for Windows配合SQL Server 2008 R2配置文档

RoseHA 8.9 for Windows配合SQL Server 2008 R2配置文档 2013年7月27日

目录 一、文档说明 (3) 二、安装部署要求 (3) 1、集群环境拓扑结构 (3) 2、基础环境部署 (3) 三、安装配置SQL Server 2008 R2 (14) 1、安装SQL Server 2008 R2的先决条件 (14) 2、安装SQL Server 2008 R2 (16) 3、配置SQL Server的远程连接功能 (22) 4、安装SQL Server客户端 (25) 四、安装配置RoseHA (29) 五、测试 (39) 1、集群资源测试 (39) 2、集群切换测试 (40) 六、使用RoseHA工具 (42) 1、帮助文档 (42) 2、命令行管理工具 (42) 3、查看日志 (43)

一、文档说明 本文档主要介绍了在VMware8虚拟机环境中使用RoseHA8.9配合SQL Server 2008 R2的配置过程，对如何虚拟磁盘阵列以及两台虚拟机之间如何用RS232串口线连接和挂载虚拟存储也做了介绍。使用此文档，大家可以在自己的电脑上利用虚拟环境搭建RoseHA高可用集群测试系统。 二、安装部署要求 1、集群环境拓扑结构 2、基础环境部署 本实验集群拓扑实现目标如上图所示，以宿主机作为客户端，宿主机安装VMware8虚拟机，虚拟机中安装Windows server 2008 R2操作系统，并将系统的防火墙关闭；在虚拟机操作系统中安装SQL Server 2008 R2和RoseHA；按照RoseHA的配置规则，两台服务器之间至少有两条心跳线，可以使用两条以太网线作为心跳，如果条件允许，还可以使用RS232串行端口线作为心跳，以实现不同类型的心跳通信，加强心跳通信的可靠性。本实验采用以太网和RS232串行端口两种方式作为心跳；宿主机安装SQL Server 2008 R2客户端，使用此

【免费下载】Zabbix安装使用手册

Zabbix安装使用手册 目录 ZABBIX安装使用手册 (1) 1、安装配置POSTGRESQL9.3 (1) 第一部分安装 1、安装配置Postgresql9.3 2、添加zabbix账户、zabbix数据库 psql –U pgsql postgres postgres=# create user zabbix with password ‘zabbix’ postgres=# LOGIN CREATEDB CREATEROLE; CREATE ROLE postgres=# create database zabbix owner zabbix; CREATE DATABASE postgres=# grant all privileges on database zabbix to zabbix; GRANT 3、安装zabbix-server cd /usr/ports/net-mgmt/zabbix22-server/ make install clean 4、导入zabbix数据模板 root@bsd:/# cd /usr/local/share/zabbix22/server/database/postgresql root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat schema.sql | psql –U zabbix zabbix; root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat images.sql | psql –U zabbix zabbix; root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat data.sql | psql –U zabbix zabbix; 5、配置zabbix -server root@bsd:/usr/local/etc/zabbix22# cp/usr/local/etc/zabbix22/zabbix_server.conf.sample

hadoop伪分布式搭建2.0

1. virtualbox安装 1. 1. 安装步骤 1. 2. virtualbox安装出错情况 1. 2.1. 安装时直接报发生严重错误 1. 2.2. 安装好后，打开Vitualbox报创建COM对象失败，错误情况1 1. 2.3. 安装好后，打开Vitualbox报创建COM对象失败，错误情况2 1. 2.4. 安装将要成功，进度条回滚，报“setup wizard ended prematurely”错误 2. 新建虚拟机 2. 1. 创建虚拟机出错情况 2. 1.1. 配制好虚拟光盘后不能点击OK按钮 3. 安装Ubuntu系统 3. 1. 安装Ubuntu出错情况 3. 1.1. 提示VT-x/AMD-V硬件加速在系统中不可用 4. 安装增强功能 4. 1. 安装增强功能出错情况 4. 1.1. 报未能加载虚拟光盘错误 5. 复制文件到虚拟机 5. 1. 复制出错情况 5. 1.1. 不能把文件从本地拖到虚拟机 6. 配置无秘登录ssh 7. Java环境安装 7. 1. 安装Java出错情况 7. 1.1. 提示不能连接 8. hadoop安装 8. 1. 安装hadoop的时候出错情况 8. 1.1. DataNode进程没启动 9. 开机自启动hadoop 10. 关闭服务器（需要时才关） 1. virtualbox安装 1. 1. 安装步骤 1.选择hadoop安装软件中的VirtualBox-6.0.8-130520-Win

2.双击后进入安装界面，然后直接点击下一步 3.如果不想把VirtualBox安装在C盘，那么点击浏览

Rose软件的安装指南

在对系统连续运营要求较高的系统中，我们通常有RAID、hot spare来保障存储系统以及数据的安全性，但是仅仅存储系统的安全就足够了么？为了防止服务器应用程序的意外宕机，我们通常还会通过两台服务器冗余，且互为备份共同执行同一任务的架构模式来防止服务器错误的发生。这种架构也就是我们通常所说的双机热备的架构模式。 在众多对系统可靠性要求较高的业务环境中，双机热备系统都得到了广泛的应用，并发挥着重要的作用，为企业构筑高可用性系统提供了一种较为安全且成本相对较低的后台环境构架。 双机系统的基本构成通常包括了2台互为备份的服务器，后台往往公用一台存储系统，两台互为备份的服务器之间一般有心跳线连接，用以监控另一台服务器的运行状态，同时2台服务器上还需要运行双机热备的系统软件。任何导致系统当机或服务中断的故障，都会自动触发双机热备的系统软件流程来进行错误判定、故障隔离，并通过联机恢复来继续执行中断的服务。这样，预先指定的备份服务器将首先接管被中断的服务，并继续提供原有的服务。在这个过程中，用户所感受的只是需要经受一定程度可接受的时延，而能够在最短的时间内继续访问服务。 Rose HA是目前市面上应用非常广泛的一种双机HA软件，他由美国ROSE Datasystem Inc.提供，能够和windows操作平台无缝集成，因而并被多家服务器或者存储厂商以OEM 的形式销售提供给大家，被广泛用于在X86服务器基础上构架双机热备系统，拥有较大规模的市场基础和使用人群。但是双机软件的安装是比较容易出问题的环节，下面我们将以SQL Server数据库平台为例，介绍如何在win 2000，SQL Server的环境下构筑Rose HA。 安装环境： 双机环境的基本构成包括：两台服务器（以下分别称为“服务器1”和“服务器2”），一套磁盘整列柜，我们这里以SQL Server数据库软件为例，服务器采用win 2000的操作系统，采用Rose HA软件。软硬件都准备好了以后，我们先进行双机热备环境配置的准备工作。 1. 安装win 2000

zabbix环境部署详细步骤(小白可入)

Zabbix部署流程 目录 1、计划安排 (2) 2、环境准备 (2) 3、软件安装（lamp） (2) 4、配置文件修改 (3) 5、web初始化及登陆 (4) 6、监控项模板配置 (5) 7、网络自动发现主机 (8) 8、添加监控项的触发器及对应的动作 (11) 9、在zabbix-server端配置简单的邮件postfix服务 (16) 10、用户与报警媒介关联 (18)

1、计划安排 2、环境准备 Zabbix-server端（10.21.X.X）：操作系统：centos7.1 硬件：4c/8G 80G 安装图形化 Mysql数据库端（10.21.20.202）：操作系统：centos7.1 硬件：4c/8G 120G 3、软件安装（lamp） (1)Zabbix-Server组件： yum –y install net-snmp* gcc 下载zabbix-3.2.7.tar.gz包并进行编译安装（./configure –prefix=/usr/local/zabbix --enable –server --enable-agent --with-mysql --with-net-snmp）---- make （注编译时若出现报错，按照报错解决依赖包问题） (2)web 组件(注意php的软件版本一定要保持一致5.4) yum -y install httpd php php-mysql yum -y localinstall zabbix-web-3.2.0 zabbix-web-mysql-3.2.0 php-mbstring php-bcmath （3）数据库端

通过LVS+Keepalived搭建高可用的负载均衡集群系统

1、安装LVS软件 （1）安装前准备 操作系统：统一采用Centos5.3版本，地址规划如下： 更详细的信息如下图所示： 图中的VIP指的是虚拟IP地址，还可以叫做LVS集群的服务IP，在DR、TUN模式中，数据包是直接返回给用户的，所以，在Director Server上以及集群的每个节点上都需要设置这个地址。此IP在Real Server上一般绑定在回环地址上，例如lo:0，同样，在Director Server 上，虚拟IP绑定在真实的网络接口设备上，例如eth0:0。 各个Real Server可以是在同一个网段内，也可以是相互独立的网段，还可以是分布在internet上的多个服务器.

（2）安装操作系统需要注意的事项 Centos5.3版本的Linux，内核默认支持LVS功能，为了方便编译安装IPVS管理软件，在安装操作系统时，建议选择如下这些安装包：l 桌面环境：xwindows system、GNOME desktop environment。 l 开发工具：development tools、x software development、gnome software、development、kde software development。 系统安装完毕，可以通过如下命令检查kernel是否已经支持LVS的ipvs模块： [root@localhost ~]#modprobe -l |grep ipvs /lib/modules/2.6.18-194.11.1.el5/kernel/net/ipv4/ipvs/ip_vs.ko /lib/modules/2.6.18-194.11.1.el5/kernel/net/ipv4/ipvs/ip_vs_dh.ko 如果有类似上面的输出，表明系统内核已经默认支持了IPVS模块。接着就可以安装IPVS管理软件了。

RoseHA 8.5 快速安装指南

RoseHA 8.5 快速安装指南 一第一部分RoseHA运行所需条件和环境及安装 1． RoseHA支持的系统环境（独立域，主备域，AD服务器） RoseHA支持Windows 2000 系列以及Windows 2003。RoseHA的光盘安装介质可用于Windows 2000及Windows 2003系统中HA的安装。RoseHA 支持独立域、主备域、以及Windows 2000和Windows 2003的AD服务器。两台主机的系统管理员的账号和密码必须一致。 2． RoseHA对网络配置的需求及要求 在安装RoseHA之前，系统的所有网卡应该已经全部驱动并设置了正确的IP地址等相关设置，并规划好公网和私网IP资源的分配。避免在安装了RoseHA 之后，再对系统的网络设置进行修改。 3． RoseHA心跳线需求 HA支持网卡类型和RS232类型的私网，对于配置RS232类型的心跳线，需要准备RS232串口线，配置好com口参数（通常按照系统默认值配置）。在HA中，建议配置两条以上的心跳线（Socket 类型或是RS232 类型，也可以混合使用），保证HA的正常运作。 关于RS232串口线的做法是：如果两端都是9 pin 的接头, 则pin 2 (RD), pin 3 (TD) 交叉反接, pin 5 (GND)直连, 其它pin 不连接: DB9 DB9 1 GND --------- 1 GND 2 RD --------- 3 TD 3 TD --------- 2 RD 5 GND --------- 5 GND 4． RoseHA对共享卷配置的需求及要求 共享磁盘阵列的准备，首先保证两台主机都已经正确连接并能正确访问到盘阵。其次，对于Windows 2000和Windows 2003系统，还必须确认操作系统中看到的磁盘阵列上的共享设备的类型，在磁盘管理器中将共享设备（disk）必须设置为基本卷，而不能是动态卷。两台主机系统缺省对于计划中将要使用的共享磁盘设备上的分区的设置需要保持一致。对于共享磁盘设备上各个分区的盘符的设定要保持一致性。对共享卷的文件系统推荐采用NTFS类型。另外，推荐使用有硬件锁功能的盘阵。这样确保在双机时只能有一边能访问到磁盘设备。5． RoseHA对应用程序配置的需求及要求 在安装RoseHA之前，应先安装需要由HA来监控管理的应用，并且将应用（或与应用有关）的数据创建到共享的盘阵上。然后修改需要由HA监控的服务的启动方式，在服务管理中将其改动为手动启动方式，并停止服务。

Centos7安装配置zabbix

Centos7安装配置zabbix 1 关闭firewall systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2 安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/iptables #编辑防火墙配置文件 *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT #追加这行-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT #追加这行 -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT systemctl restart iptables.service #最后重启防火墙使配置生效 systemctl enable iptables.service #设置防火墙开机启动 3 关闭SELINUX vi /etc/selinux/config

linux lvs 配置

Linux负载均衡 一、LVS概述及原理 LVS是一个开源的软件，由毕业于国防科技大学的章文嵩博士于1998年5月创立，可以实现LINUX平台下的简单负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。 LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说，LVS集群采用三层结构，其主要组成部分为： 1) 负载调度器（load balancer），它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。 2) 服务器池（server pool），是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。 3) 共享存储（shared storage），它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。 调度器是服务器集群系统的唯一入口点（Single Entry Point），它可以采用IP 负载均衡技术、基于内容请求分发技术或者两者相结合。在IP负载均衡技术中，需要服务器池拥有相同的内容提供相同的服务。当客户请求到达时，调度器只根据服务器负载情况和设定的调度算法从服务器池中选出一个服务器，将该请求转发到选出的服务器，并记录这个调度；当这个请求的其他报文到达，也会被转发到前面选出的服务器。在基于内容请求分发技术中，服务器可以提供不同的服务，当客户请求到达时，调度器可根据请求的内容选择服务器执行请求。因为所有的操作都是在Linux操作系统核心空间中将完成的，它的调度开销很小，所以它具有很高的吞吐率。服务器池的结点数目是可变的。当整个系统收到的负载超过目前所有结点的处理能力时，可以在服务器池中增加服务器来满足不断增长的请求负载。对大多数网络服务来说，请求间不存在很强的相关性，请求可以在不同的结点上并行执行，所以整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。共享存储通常是数据库、网络文件系统或者分布式文件系统。服务器结点需要动态更新的数据一般存储在数据库系统中，同时数据库会保证并发访问时数据的一致性。静态的数据可以存储在网络文件系统（如NFS/CIFS）中，但网络文件系统的伸缩能力有限，一般来说，NFS/CIFS服务器只能支持3~6个繁忙的服务器结点。对于规模较大的集群系统，可以考虑用分布式文件系统，如AFS、GFS、Coda和Intermezzo等。分布式文件系统可为各服务器提供共享的存储区，它们访问分布式文件系统就像访问本地文件系统一样，同时分布式文件系统可提供良好的伸缩性和可用性。此外，当不同服务器上的应用程序同时读写访问分布式文件系统上同一资源时，应用程序的访问冲突需要消解才能使得资源处于一致状态。这需要一个分布式锁管理器（Distributed Lock Manager），它可能是分布式文件系统内部提供的，也可能是外部的。开发者在写应用程序时，可以使用分

在windows下安装hadoop

在windows下通过安装cygwin模拟linux环境，然后再安装hadoop，是一种简单方便的方式。 首先是搭建cygwin环境： 一、安装cygwin 二、安装sshd服务 三、启动sshd服务 四、配置ssh无密码登录 一、此处无话可说，按照网上的文档，选择必要的组件即可。 二、 1 以管理员身份运行cygwin 2 输入：ssh-host-config 有关键的两步：*** Query: Do you want to use a different name? (yes/no)选择yes *** Query: Create new privileged user account 'cyg_server'? (yes/no) 选择yes 创建的用户名最好为新的用户名，密码最好与windows用户的密码一致 三、在开始菜单运ervices.msc或其他手段进入服务列表，找到cygwin sshd服务，查看属性是否为上一步的用户名登陆的，否则更改之。此时可能不能启动，需要在计算机右击“管理”，用户和组的管理中将上面的用户加入管理员的组，即授予管理员权限。 四、此时使用ssh服务，即输入：ssh localhost会要求输入密码，若显示为“last login:......”则说明已经正确安装ssh服务并且可以启动。 接下来是配置ssh的无密码登陆： 1输入：ssh-keygen （一直回车，一般是三次回车） 2 输入：cd ~/.ssh 3 输入：cp id_rsa.pub authorized_keys 此时输入exit退出cygwin，再次以管理员身份进入cygwin，输入ssh localhost，若没有要求输入密码便显示“last login.....”则说明成功了。 接下来是安装Hadoop： 一、安装JDK 二、下载hadoop及配置hadoop环境 三、格式化namenode 四、启动hadoop

Zabbix安装配置手册- -

Zabbix 手册 目录 Ⅰ Zabbix简介 (1) 一、Zabbix介绍 (1) 二、Zabbix系统架构 (4) 1.Zabbix架构： (4) 2.Zabbix架构说明： (5) Ⅱ Zabbix安装 (8) 一、Zabbix安装 (8) 1、安装基础包 (8) 2、启动httpd、mysql (9) 3、配置防火墙 (9) 4、配置PHP参数 (9) 5、修改httpd 的FQDN 错误 (10) 6、下载zabbix-3.0.3tar.gz (10) 7、添加zabbix 用户和组 (11)

8、安装zabbix-server (11) 9、创建zabbix 数据库以及相关表 (11) 10、配置软连接和启动文件信息 (12) 11、修改/etc/init.d 目录下的zabbix_server 和zabbix_agentd 启动文件(配置 server和agent) (12) 12、通过web 站点配置zabbix (14) 二、Zabbix 监控机配置 (19) 1. 登录 (20) 2. 添加主机（Hosts） (21) 3. 创建模板 (27) 4.添加告警动作（Actions） (30) 5.添加告警方式（Medias） (30) 6.添加用户(Users) (32) Ⅲ Zabbix配置 (34) 一、Client端配置 (34) 二、zabbix_server.conf 配置文件详解 (35) 三、zabbix_agentd.conf 配置文件详解 (43)

ⅠZabbix简介 一、Zabbix介绍 Zabbix是一个分布式监控系统,支持多种采集方式和采集客户端,有专用的Agent(代理),也支持SNMP、IPMI、JMX、Telnet、SSH等多种协议,它将采集到的数据存放到数据库,然后对其进行分析整理,达到条件触发告警.其灵活的扩展性和丰富的功能是其他监控系统所不能比的。相对来说，它的总体功能做得非常优秀，其界面如图1-1、图1-2。 图1-1

高可用Lvs集群搭建和测试报告

高可用Lvs集群搭建和测试报告 Lvs（Linux Virtual Server）是Linux下的负载均衡器，支持LVS-NA T、 LVS-DR、LVS-TUNL三种不同的方式，NA T用的不是很多，主要用的是DR、TUNL方式。DR方式适合所有的RealServer在同一网段下，即接在同一个交换机上。TUNL方式不限制RealServer 的位置，完全可以跨地域、空间，只要系统支持Tunnel就可以。 运行Lvs的前端调度器，目前只能为Linux，针对FreeBSD刚刚出来，性能不是很好。可以针对Web、MySQL、Ftp等服务做load balances。后端的RealServer则可以为各类系统，Linux、Solaris、Aix、BSD、Windows都可。 下面主要针对DR方式下的Web、MySQL负载均衡，以及Lvs + HA做功能性的验证和性能方面的测试。 1.集群系统拓扑

2.环境搭建说明 1.前端Load Balancer、Backup为虚拟机Linux系统，后端两台Real Server为纯Linux系 统。 2.192.168.6.229为前端负载均衡调度器，虚拟IP为192.168.6.111，安装并配置了ipvsadm （负载均衡）、ldirectord（健康监控）服务。 3.192.168.6.230为调度器的备份，采用heartbeat实现。 4.192.168.6.240、192.168.6.241为两台提供服务的真实Server。 3.功能性验证 首先在Load Balancer上安装ipvsadm、ldirectord、heartbeat服务，备机上也相同，可以用YUM进行安装，安装完成后需要将ha.cf、haresources、authkeys、ldirectord.cf文件拷贝到/etc/ha.d/ 目录下。 3.1. 验证Apache负载均衡。 3.1.1.配置 1.配置Load Balancer的ipvsadm，脚本内容如下：

RoseHA6.0安装调试手册

一、安装前的准备 1、硬件环境：服务器两台(每台服务器要求两块网卡,每个服务器的两个网卡一个做心跳用，一个连接到局域网上)、磁盘阵列一台、SCSI线两条。 2、软件环境：Windows200 3、Sqlserver 2000 for Windows2003、Rose HA6.0 For Windows。 3、注意：在连接SCSI线时，必须把主机和磁盘阵列断电。连接完成后，先开启磁盘阵列，后开启主机。将两台服务器的BIOS选择中Start Option选择改为Slot 5,(Slot 5是服务器RAID卡所在的槽位) 4、两台服务器：以下分别称为“服务器1”和“服务器2”。 二、安装Rose HA的过程 (一)硬件安装 1．用Rose软件所带的RS232串口线将服务器1和服务器2的COM口连接起来。 2．用交叉双绞线（一头是568A，一头是568B）连接服务器的网卡(专门做心跳用) 3．分别通过服务器的另外一块网卡将两台服务器连接到交换机上，分配ip地址（一般是用户内网网段地址），保证相互可以ping通。 注：建议使用两根心跳线，如果要通过网卡建立第二根心跳线，可用以下方法连接： 4．将心跳线的网卡Ip设置为200.200.200.109,200.200.200.110，子网掩码255.255.255.0(不能跟局域网在同一个网段)，测试ping。 (二)安装SqlServer2000 1、关闭服务器2，在服务器1上进行安装，进入SqlServer2000安装界面 2、当选择Data路径时，程序文件存放位置可以不做修改，Data文件夹可选为 Z:\Sqlserver_data(注：Sqlserver_data是手工建在磁盘阵列上的文件夹，Z盘为磁盘阵列的逻辑盘符) 3、安装完毕后，需要打SqlServer2000 Sp3补定 4、重启服务器，在数据库管理器里将SqlServer2000的服务，改为手动；手工启动数据库， 确保工作正常。 5、在服务器1上操作：关闭SqlServer数据库，删除Z:\Sqlserver_data文件夹，关闭服 务器1 6、启动服务器2，重复上述步骤2，3，4 7、启动服务器1，关闭服务器2上的SqlServer数据库，在服务器1上启动SqlServer数 据库，要保证启动各项服务都正常 8、进行Rose HA的安装和配置。 (三)RoseHA软件安装 进入光盘上软件所在的目录，运行SETUP程序，按照默认方式安装，当出现提示输入LOCAL 和REMOTE的主机名时，将本地服务器的主机名输入LOCAL栏里，将另一台服务器的主机名输入REMOTE。 三、配置Rose HA

zabbix安装笔记

二.zabbix 服务器的介绍 zabbix（音同z?bix）是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 zabbix监控服务器由2部分构成，zabbix server与可选组件zabbix agent。 zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在Linux，Solaris，HP-UX，AIX，Free BSD，Open BSD，OS X等平台上。 二.基础环境介绍 1.系统：CentOS Linux release 7.1.1503 (Core) 2.编译环境：“Deveolpment Tools” 3.zabbix－Server：ip：192.168.1.125/24（centos7）agent： 192.168.1.128/24 （centos 6.5） 三.Zabbix Server端操作 1.安装zabbix－server 及所需的mysql组件、zabbix－agent [root@test ~]# rpm -ivh https://www.sodocs.net/doc/327379051.html,/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm [root@test ~]# yum install zabbix-server-mysql zabbix-web-mysql -y [root@test ~]# yum install zabbix-agent -y 2.由于centos 7 默认的数据库改由mariadb里，甲骨文公司收购了MySQL后，mysql之父便又写了这个数据库。此环境由于需要mysql ，所以下面将下载mysql 源，安装mysql。另外mysql安装完，root没有密码，可以直接登陆，后续如果需要修改密码可登陆数据库修改，或者运行 mysql_secure_installation 初始化工具 [root@test ~]# yum install wget -y [root@test ~]# wget https://www.sodocs.net/doc/327379051.html,/get/mysql-community-release-el7-5.noarch.rpm [root@test ~]# rpm -ivh mysql-community-release-el7-5.noarch.rpm [root@test ~]# yum install mysql-community-server -y [root@test ~]# service mysqld start #或者 systemctl start mysqld.service [root@test ~]# mysql -uroot 创建zabbix 数据库，并授权zabbix用户，以及设置zabbix用户登陆密码为zabbix [root@test ~]# mysql -uroot mysql> create database zabbix character set utf8 collate utf8_bin; mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbix'; mysql> quit; 进入zabbix数据库脚本导入的目录，将库数据导入zabbix数据库中。

LVS+Keepalived部署全解

安装与配置 两台负载均衡器： Lvs1:192.168.1.10 Lvs2:192.168.1.11 漂移地址(虚拟IP，VIP)： Vip：192.168.1.169 Real Server： RS1：192.168.1.102 RS2：192.168.1.103 LVS配置及ipvsadm和keepalived的安装 在lvs master和lvs backup主机上安装。 1．首先安装一些辅助package如下： e2fsprogs-devel-1.41.12-18.el6.x86_64.rpm kernel-devel-2.6.32-642.el6.x86_64.rpm keyutils-libs-devel-1.4-4.el6.x86_64.rpm krb5-devel-1.10.3-10.el6_4.6.x86_64.rpm libcom_err-devel-1.41.12-18.el6.x86_64.rpm libnl-1.1.4-2.el6.x86_64.rpm libnl-devel-1.1.4-2.el6.x86_64.rpm libselinux-devel-2.0.94-5.3.el6_4.1.x86_64.rpm libsepol-devel-2.0.41-4.el6.x86_64.rpm zlib-devel-1.2.3-29.el6.x86_64.rpm openssl-devel-1.0.1e-15.el6.x86_64.rpm pkgconfig-0.23-9.1.el6.x86_64.rpm popt-devel-1.13-7.el6.x86_64.rpm popt-static-1.13-7.el6.i686.rpm 安装时可能出现缺少什么package，去iso中找或者网上下载然后安装就可以了 rpm –ivh XXXXXXXX.rpm 2．然后安装ipvsadm 将ipvsadm-1.26.tar.gz压缩文件复制到/usr/local/src/lvs/文件夹下，然后运行tar zxvf ipvsadm-1.26.tar.gz 命令。创建软连接ln –s /usr/src/kernels/2.6.32-431.el6.x86_64/ /usr/src/linux，然后进去ipvsadm-1.26文件夹cd ipvsadm-1.26，make && make install。 #find / -name ipvsdam 查找的安装位置 检查ipvsadm是否安装成功，可直接输入#ipvsadm IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn 检查模块是否加入内核#lsmod| grep ip_vs ip_vs 78081 0

Hadoop入门—Linux下伪分布式计算的安装与wordcount的实例展示

开始研究一下开源项目hadoop，因为根据本人和业界的一些分析，海量数据的分布式并行处理是趋势，咱不能太落后，虽然开始有点晚，呵呵。首先就是安装和一个入门的小实例的讲解，这个恐怕是我们搞软件开发的，最常见也最有效率地入门一个新鲜玩意的方式了，废话不多说开始吧。 本人是在ubuntu下进行实验的，java和ssh安装就不在这里讲了，这两个是必须要安装的，好了我们进入主题安装hadoop： 1.下载hadoop-0.20.1.tar.gz： https://www.sodocs.net/doc/327379051.html,/dyn/closer.cgi/hadoop/common/ 解压：$ tar –zvxf hadoop-0.20.1.tar.gz 把Hadoop 的安装路径添加到环/etc/profile 中: export HADOOP_HOME=/home/hexianghui/hadoop-0.20.1 export PATH=$HADOOP_HOME/bin:$PATH 2.配置hadoop hadoop 的主要配置都在hadoop-0.20.1/conf 下。 (1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)： $ gedit hadoop-env.sh $ export JAVA_HOME=/home/hexianghui/jdk1.6.0_14 3.3)配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml(简单配置，datanode 的配置相同) core-site.xml: hadoop.tmp.dir /home/yangchao/tmp A base for other temporary directories. https://www.sodocs.net/doc/327379051.html, hdfs://localhost:9000 hdfs-site.xml:( replication 默认为3，如果不修改，datanode 少于三台就会报错)