linux iscsi initiator 安装配置
linux iscsi initiator 安装配置
2011-01-04 17:01:15| 分类：openfiler系统+fr | 标签：
dev initiator iscsid root pe03 |举报 |字号订阅
实现环境:vmware workstation,netapp simulator,windows 2003,redhat linux enterprise;
一、安装并配置iSCSI Initiator软件
1.从光盘安装iscsi initiator
[root@pe03 Server]# cd /mnt/Server/
[root@pe03 Server]# rpm -ivh iscsi-initiator-utils-6.2.0.742-0.5.el5.i386.rpm
warning: iscsi-initiator-utils-6.2.0.742-0.5.el5.i386.rpm: Header V3 DSA signature: NOKEY, key ID 37017186
Preparing... ########################################### [100%]
1:iscsi-initiator-utils ########################################### [100%]
这个安装将iscsid、iscsiadm安装到/sbin目录下，它还将把默认的配置文件安装到
/etc/iscsi目录下：
/etc/iscsi/iscsid.conf所有刚发起的iSCSI session默认都将使用这个文件中的参数设定。
/etc/iscsi/initiatorname.iscsi 软件iSCSI initiator的intiator名称配置文件。
在iscsi启动的时候，iscsid和iscsiadm会读取这两个配置文件。
查询软件包安装情况(安装了哪些文件及其位置;)
[root@rhe5 Server]# rpm –q --list iscsi-initiator-utils-6.2.0.742-0.5.el5
/etc/iscsi/iscsid.conf
/etc/rc.d/init.d/iscsi
/etc/rc.d/init.d/iscsid
/sbin/iscsi-iname
/sbin/iscsiadm
/sbin/iscsid
/sbin/iscsistart
Technorati 标签: iscsi initiator
/usr/share/doc/iscsi-initiator-utils-6.2.0.742
/usr/share/doc/iscsi-initiator-utils-6.2.0.742/README
/usr/share/man/man8/iscsiadm.8.gz
/usr/share/man/man8/iscsid.8.gz
/var/lib/iscsi/nodes
/var/lib/iscsi/send_targets
/var/lock/iscsi
[root@rhe5 Server]# rpm -q --scripts iscsi-initiator-utils-6.2.0.742-0.5.el5 postinstall scriptlet (using /bin/sh):
if [ ! -f /etc/iscsi/initiatorname.iscsi ]; then
echo "InitiatorName=`/sbin/iscsi-iname`" >
/etc/iscsi/initiatorname.iscsi
fi
/sbin/chkconfig --add iscsid
/sbin/chkconfig --add iscsi
preuninstall scriptlet (using /bin/sh):
if [ "$1" = "0" ]; then
/sbin/chkconfig --del iscsi
/sbin/chkconfig --del iscsid
fi
[root@rhe5 Server]# iscsi-iname
https://www.sodocs.net/doc/f26756895.html,.redhat:01.4e85bacb9b8
2、确认iscsi服务随系统启动而启动
用chkconfig检查iscsi和iscsid服务在运行级别3和5中随系统的启动而自动启动
[root@pe03 Server]# chkconfig --list |grep iscsi
iscsi 0:off 1:off 2:off 3:on 4:on 5:on 6:off
iscsid 0:off 1:off 2:off 3:on 4:on 5:on 6:off
如果iscsid和iscsi没有随系统的启动而启动，则用chkconfig设置这两个服务在系统运行级别为3和5时随系统启动而启动
[root@pe03 Server]# chkconfig iscsi --level 35 on
[root@pe03 Server]# chkconfig iscsid --level 35 on
(3、设置InitiatorName)
用vi编辑/etc/iscsi/initiatorname.iscsi文件，文件内容如下
InitiatorName=https://www.sodocs.net/doc/f26756895.html,.redhat:01.e7839d513f
注意：
l InitiatorName这个单词必须注意大小写，同时，必须顶格写，xxxx代表要设置的initiator名称，请遵循iqn命名规范。
l iqn规范定义的InitiatorName格式为iqn.domaindate. https://www.sodocs.net/doc/f26756895.html,:optional name，例如：https://www.sodocs.net/doc/f26756895.html,.h3c:dbserver。
4、启动iscsi服务
用service iscsi start启动iSCSI服务。
root@pe03 Server]# service iscsi start
Turning off network shutdown. Starting iSCSI daemon: [ OK ]
[ OK ]
Setting up iSCSI targets: [ OK ]
用service iscsi status及service iscsid status查看iscsi相关服务的运行状态
[root@pe03 Server]# service iscsi status
iscsid (pid 3697 3696) is running...
[root@pe03 Server]# service iscsid status
iscsid (pid 3697 3696) is running...
Open-iSCSI是通过以下iSCSI数据库文件来实现永久配置的：
Discovery (/var/lib/iscsi/send_targets)：在/var/lib/iscsi/send_targets目录下包含iSCSI portals的配置信息，每个portal对应一个文件，文件名为“iSCSI portal IP，端口号”（例如“200.200.10.200,3260”）。
Node (/var/lib/iscsi/nodes)：在/var/lib/iscsi/nodes目录下，生成一个或多个以iSCSI存储服务器上的Target名命名的文件夹，在该文件夹下有一个文件名为“iSCSI portal IP，端口号” （例如“200.200.10.200,3260”）的配置参数文件，该文件中是initiator登录target时要使用的参数，这些参数的设置是从 /etc/iscsi/iscsi.conf中的参数设置继承而来的，可以通过iscsiadm对某一个参数文件进行更改（需要先注销到target的登录）。
iscsiadm是用来管理（更新、删除、插入、查询）iSCSI配置数据库文件的命令行工具，用户能够用它对iSCSI nodes、sessions、connections和discovery records进行一系列的操作。
5、分配存储资源，在Linux上执行target的发现
RHEL 5上当前的iSCSI Initiator版本只支持sendtargets 的发现方式，不支持SLP和iSNS
使用下面的命令执行target的发现：
[root@rhel5 Server]# iscsiadm -m discovery -t sendtargets -p 192.168.1.20:3260
??? iscsiadm: can not connect to iSCSI daemon!
iscsiadm: exiting due to configuration error!
重启linux,再执行上命令后结果:(netapp模拟器两个网口,全部自动发现,如何去掉一个?)
192.168.1.21:3260,1001 https://www.sodocs.net/doc/f26756895.html,app:sn.99900641
192.168.1.20:3260,1000 https://www.sodocs.net/doc/f26756895.html,app:sn.99900641
netapp模拟器终端上信息:
Sat Jan 16 15:50:54 GMT [iscsi.notice:notice]: ISCSI: New session from initiator https://www.sodocs.net/doc/f26756895.html,.redhat:01.74394c92c697 at IP addr 192.168.1.60
[root@rhe5 iscsi]# fdisk –l (如何配置去掉一个???)
Disk /dev/sda: 23.6 GB, 23622320128 bytes
255 heads, 63 sectors/track, 2871 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sda1 * 1 6 48163+ 83 Linux
/dev/sda2 7 515 4088542+ 83 Linux
/dev/sda3 516 2741 17880345 83 Linux
/dev/sda4 2742 2871 1044225 5 Extended
/dev/sda5 2742 2871 1044193+ 82 Linux swap / Solaris
Disk /dev/sdb: 36 MB, 36700160 bytes
2 heads, 35 sectors/track, 1024 cylinders
Units = cylinders of 70 * 512 = 35840 bytes
Device Boot Start End Blocks Id System
/dev/sdb1 1 1024 35822+ 83 Linux
Disk /dev/sdc: 36 MB, 36700160 bytes
2 heads, 35 sectors/track, 1024 cylinders
Units = cylinders of 70 * 512 = 35840 bytes
Device Boot Start End Blocks Id System
/dev/sdc1 1 1024 35822+ 83 Linux
7、登录target
[root@pe03 Server]# iscsiadm -m node -T https://www.sodocs.net/doc/f26756895.html,:h3c:200realm.rhel5 -p 200.200.10.200:3260 -l
这里-T后面跟target名称，最后的-l（英文字母中小写的L），是login的意思。
可以使用iscsiadm -m node --loginall=all
一次登录所有的targets。
[root@pe03 Server]# iscsiadm -m node --loginall=all
8、查看iSCSI session信息
用iscsiadm -m session –i查看iSCSI session和设备信息
[root@rhe5 ~]# iscsiadm -m session -i
iscsiadm version 2.0-742
************************************
Session (sid 0) using module tcp:
************************************
TargetName: https://www.sodocs.net/doc/f26756895.html,app:sn.99900641
Portal Group Tag: 1000
Network Portal: 192.168.1.20:3260
iSCSI Connection State: LOGGED IN
Internal iscsid Session State: NO CHANGE
************************
Negotiated iSCSI params:
************************
HeaderDigest: None
DataDigest: None
MaxRecvDataSegmentLength: 65536
MaxXmitDataSegmentLength: 65536
FirstBurstLength: 65536
MaxBurstLength: 65536
ImmediateData: Yes
InitialR2T: No
MaxOutstandingR2T: 1
************************
Attached SCSI devices:
************************
Host Number: 1 State: running
scsi1 Channel 00 Id 0 Lun: 2
Attached scsi disk sdb State: running
二、对新发现的磁盘进行分区并创建文件系统
fdisk –l;fdisk /dev/sdb;mkfs –t ext3 /dev/sdb1
1、先用fdisk –l查看新的磁盘名称，这里我们发现了一个100GB的磁盘，设备名为/dev/sdb
[root@pe03 Server]# fdisk -l
..............................
Disk /dev/sdb: 107.3 GB, 107373133824 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk /dev/sdb doesn't contain a valid partition table
2、用tune2fs修改文件系统的属性，去掉自动检查的属性：
[root@pe03 Server]# tune2fs -c -1 -i 0 /dev/sdb1
tune2fs 1.39 (29-May-2006)
Setting maximal mount count to -1
Setting interval between checks to 0 seconds
Linux上的ext3文件系统有一个特性，对某个分区mount、umount很多次后或者隔一个固定的时间后，系统会对该分区进行检测，这就会导致硬盘反映速度很慢，影响业务，本操作的目的就是去掉文件系统自动检查的属性。
三、设定文件系统的自动挂载
本例中我们将要把/dev/sdb1挂载到/data目录下
1、手动创建一个目录/data
[root@pe03 Server]# mkdir /data
2、用tune2fs查看文件系统的UUID：
[root@pe03 Server]# tune2fs -l /dev/sdb1
tune2fs 1.39 (29-May-2006)
Filesystem volume name:
Last mounted on:
Filesystem UUID: 3f0a00b7-4939-4ad2-a592-0821bb79f7c6
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal resize_inode dir_index filetype sparse_super large_file
....................
3、用vi编辑/etc/fstab文件，设置自动挂载：
在/etc/fstab文件中增加下面蓝色的一行文字：
/dev/VolGroup00/LogVol00 / ext3 defaults 1 1
LABEL=/boot /boot ext3 defaults 1 2
devpts /dev/pts devpts gid=5,mode=620 0 0
tmpfs /dev/shm tmpfs defaults 0 0
proc /proc proc defaults 0 0
sysfs /sys sysfs defaults 0 0
/dev/VolGroup00/LogVol01 swap swap defaults 0 0
UUID=3f0a00b7-4939-4ad2-a592-0821bb79f7c6 /data ext3 _netdev 0 0
注意：
l 挂载选项使用的是“_netdev”
l UUID要顶格写。
l Linux系统重启后，磁盘设备的名称可能会发生变化，从而引起文件系统不能挂载上来或者不能正确挂载，使用UUID的方式进行挂载可以解决这个问题，
、用mount –a挂载文件系统
[root@pe03 Server]# mount –a
4、用df查看文件系统已经挂载成功
[root@pe03 /]# df -Th
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
ext3 65G 2.4G 59G 4% /
/dev/sda1 ext3 99M 12M 82M 13% /boot
tmpfs tmpfs 471M 0 471M 0% /dev/shm
/dev/sdb1 ext3 99G 188M 94G 1% /data
5、条件允许的话，重启一下操作系统，使用df命令确认系统重启后文件系统能够自动挂载上来。
删除：linux iscsi
Open-iSCSI是通过以下iSCSI数据库文件来实现永久配置的：
Discovery (/var/lib/iscsi/send_targets)：在/var/lib/iscsi/send_targets目录下包含iSCSI portals的配置信息，每个portal对应一个文件，文件名为“iSCSI portal IP，端口号”（例如“200.200.10.200,3260”）。
Node (/var/lib/iscsi/nodes)：在/var/lib/iscsi/nodes目录下，生成一个或多个以iSCSI 存储服务器上的Target名命名的文件夹，在该文件夹下有一个文件名为“iSCSI portal IP，端口号” （例如“200.200.10.200,3260”）的配置参数文件，该文件中是initiator登录target时要使用的参数，这些参数的设置是从/etc/iscsi/iscsi.conf中的参数设置继承而来的，可以通过iscsiadm对某一个参数文件进行更改（需要先注销到target的登录）。iscsiadm是用来管理（更新、删除、插入、查询）iSCSI配置数据库文件的命令行工具，用户能够用它对iSCSI nodes、sessions、connections和discovery records进行一系列的操作。
/var/lib/iscsi/send_targets目录下和/var/lib/iscsi/nodes目录下对应内容删除即可。有关iscsiadm的指令：
寻找主机上的target iscsiadm -m discovery --type sendtargets --portal HOST_IP
登入target iscsiadm –m node --targetname THE_TARGET_IQN --login
注销target iscsiadm –m node --targetname THE_TARGET_IQN --logout
删除target iscsiadm –m node -o delete --targetname THE_TARGET_IQN
How to Configure ISCSI Client on RHEL5 / EL5
Submitted by Maclean on Mon, 10/25/2010 - 06:09
Applies to:
Linux Kernel - Version: 5.0 to 5.1
Linux x86-64
hecked for relevance on 09-Jul-2009
How to configure iSCSI Client on Red Hat / Enterprise Linux 5.x
Solution
Installation
The iscsi-initiator rpm package is shipped with the standard RHEL5 / EL5 distribution.
If not installed when the Linux install was done, it can be installed from the distribution using "rpm" or up2date utilities, e.g.
up2date -i iscsi-initiator-utils
Configuration
On RHEL5 / EL5, the tool "iscsiadm" is provided to configure the iscsi initiator. The iscsiadm initiator tool runs in one of three modes:
- discovery
- node
- session
The iscsi initiator has it's own database to save the target/node informaiton and configration. This is located in "/var/lib/iscsi".
After installing the iscsi initiator, the configuration consists of four simple steps:
1. Setup authentication:
Edit /etc/iscsi/iscsid.conf and set the userid/passwords appropriate to the iscsi server
https://www.sodocs.net/doc/f26756895.html,ername,
node.session.auth.password
https://www.sodocs.net/doc/f26756895.html,ername
discovery.sendtargets.auth.password
2. Start the iscsi demaon:
#service iscsi start
Subsequently, the command 'ps aux | grep iscsid' will show two iscsid processes: one for communication, the other acting as a master.
Check dmesg and /var/log/messages for eventual errors
3. Put the target_ip_address to local database
#iscsiadm -m discovery -t st -p
4. login to target and attach all exported luns:
#iscsiadm -m node --loginall all
After the steps above, the command 'fdisk -l' can be used to check the attached scsi disks.
Trouble Shooting
To get target list, run:
#iscsiadm -m discovery
To get the node list, run:
#iscsiadm -m node
The iscsid daemon opens a TCP session with the target . To check the open session, run:
#iscsiadm -m session
or
#netstat -tpan | grep iscsid
or check /sys/class/iscsi_session
Find which session a disk belongs to:
#iscsiadm -m session -i
The output will include active sessions and attached scsi disks.
Remove Target
To logut from a target:
iscsiadm -m node -u
To delete a target::
iscsiadm -m node -o delete
ceph分布式存储介绍
Ceph分布式存储 1Ceph存储概述 Ceph 最初是一项关于存储系统的PhD 研究项目，由Sage Weil 在University of California, Santa Cruz（UCSC）实施。 Ceph 是开源分布式存储，也是主线Linux 内核（2.6.34）的一部分。1.1Ceph 架构 Ceph 生态系统可以大致划分为四部分（见图1）：客户端（数据用户），元数据服务器（缓存和同步分布式元数据），一个对象存储集群（将数据和元数据作为对象存储，执行其他关键职能），以及最后的集群监视器（执行监视功能）。 图1 Ceph 生态系统 如图1 所示，客户使用元数据服务器，执行元数据操作（来确定数据位置）。元数据服务器管理数据位置，以及在何处存储新数据。值得注意的是，元数据存储在一个存储集群（标为―元数据I/O‖）。实际的文件I/O 发生在客户和对象存储集群之间。这样一来，更高层次的POSIX 功能（例如，打开、关闭、重命名）就由元数据服务器管理，不过POSIX 功能（例如读和
写）则直接由对象存储集群管理。 另一个架构视图由图2 提供。一系列服务器通过一个客户界面访问Ceph 生态系统，这就明白了元数据服务器和对象级存储器之间的关系。分布式存储系统可以在一些层中查看，包括一个存储设备的格式（Extent and B-tree-based Object File System [EBOFS] 或者一个备选），还有一个设计用于管理数据复制，故障检测，恢复，以及随后的数据迁移的覆盖管理层，叫做Reliable Autonomic Distributed Object Storage（RADOS）。最后，监视器用于识别组件故障，包括随后的通知。 图2 ceph架构视图 1.2Ceph 组件 了解了Ceph 的概念架构之后，您可以挖掘到另一个层次，了解在Ceph 中实现的主要组件。Ceph 和传统的文件系统之间的重要差异之一就是，它将智能都用在了生态环境而不是文件系统本身。 图3 显示了一个简单的Ceph 生态系统。Ceph Client 是Ceph 文件系统的用户。Ceph Metadata Daemon 提供了元数据服务器，而Ceph Object Storage Daemon 提供了实际存储（对数据和元数据两者）。最后，Ceph Monitor 提供了集群管理。要注意的是，Ceph 客户，对象存储端点，元数据服务器（根据文件系统的容量）可以有许多，而且至少有一对冗余的监视器。那么，这个文件系统是如何分布的呢？
大华监控云存储部署方案
大华监控云存储部 署方案 1 2020年4月19日
1 云存储 产品形态一套完整云存储系统包括元数据服务器，云存储数据存储节点 ● 元数据服务器： DH-CSS9064X （最常见） ● 云存储数据节点： 最常见的型号为DH-CSS7024S-ERD ，长的和EVS 、NVR 差不多，其它还有36盘位、48盘位 DH-CSS7024S-ERD （最常见） 1.2 云存储组网 1.2.1 确认数据节点型号 经过标签或者网口数量判断是否为直存设备： ● 经过存储节点标签标注的信息判断：
其中直存型号包括：DH-CSS7124S-ERD，DH-CSS7124S-10GERD，DH-CSS7124S-ESD… 即最后一位是“D”结尾的设备支持直存 经过存储节点的网卡数量判断： 直存设备一般有9个网口（其中一个是web口），带万兆光口的存储节点有7个网卡（其中一个是web口） 只有5个网卡的设备一定是转存的设备 1.2.2组网说明 a)元数据服务器：最新的机器正常情况下3、4两个网口作为心跳口，两台 元数据服务器之间用两根网线直连；1、2两个网口接到存储段交换机，交换机上对应端口需要做链路聚合。 心跳网口网线直连 注：如果是早期的元数据服务器，心跳口可能是1、2网口，请根据实际情况判断。 b)云转存节点：4个网口插满接到存储交换机，交换机上对应的4个端口做 链路聚合；WEB口不插网线。 c)云直存节点：Ex1、Ex2、Ex3、Ex4四个网口做成一组绑定，一般做存储 网段，四个网口插满接到存储交换机，交换机上对应4个端口做链路聚合；1、2、3、4四个网口做成一组绑定，作为业务网段（与存储网段不
NAS网络存储解决方案
NAS网络存储解决方案
一．石科院存储备份系统的基本目标 1.足够的存储备份空间，可以满足现在及未来几年的数据存储备份需求； 2.开放式平台，实现弹性规划，支持现有平台并方便未来添加新系统； 3.具有高可用性，保证存储设备中数据的安全； 4.实现异种平台间的数据共享； 5.简化备份/恢复操作，对备份数据实现分级管理； 6.高效率地实现存储备份工作过程 二．NAS网络存储网络架构 本次投标的NAS网络存储解决方案在充分考虑用户需求的同时，充分满足日益增长的存储需求，利用成熟的NAS网络存储设备解决方案，实现了大容量数据在异构网络内的存储与备份。 方案中采用IBM-300作为NAS网络存储设备，实现异构服务器对NAS网络存储的高速访问，NAS300内部采用高可用性设计的冗余光纤连接，及光纤盘阵（采用73G光纤磁盘）进行存储扩展，同时IBM-3583磁带库连接NAS300网络存储服务器实现数据备份. 网络结构见附图。 三．厂商介绍 1.IBM公司存储系统部 人类社会进入信息时代，计算机的应用已进入千家万户，计算机系统中的存储设备更是与人们的生活有着密不可分的关系。由于多媒体技术的广泛应用，Internet及Intranet的迅猛发展，电子商务及数字图书馆的方兴未艾，数据爆炸越来越成为人们所关心的热点，相应而来的对数据存储的需求以每年2-3倍的速度迅速增长。 谈到“存储”，许多人首先会想到3英寸软盘或是计算机硬盘，而它们只是一些简单的存储介质。我们在这里要说的是在计算机系统中扮演非常重要角色的存储系统。“存储系统”这个词看起来貌似陌生，其实与我们每天的生活息息相关。例如当我们去银行办理存取款业务时，通过帐号银行便可马上从计算机系统中调出帐户的所有信息，包括存款、支取、利息计算等。这些至关重要而又非常庞大的数据信息必须妥善保存才能保证银行业务的正常运行。担当此重任的正是计算机系统中的存储系统。这样的例子在生活中是不胜枚举的，例如电信局对移动电话话费的管理，股票交易所每日大量数据的交换，石油勘探队采掘信息的记录等，存储系统在这些领域都发挥着不可替代的作用。
网络建设方案
网络建设方案 目录 一、前言 (2) 二、建设需求 (2) 三、总体架构 (2) 四、总体设计 (5) 五、服务器选择 (5) 六、主交换机的选择 (6) 七、活动目录 (6) 八、文件服务器 (8) 九、防病毒服务器和ERP服务器 (10)
一、前言 XXX集团有限公司旗下有三个分公司：1#公司、2#公司、3#公司。由于新厂房的建立，故需要建立一套完整、安全的网络系统。 二、建设需求 1.公司使用2台核心交换机（冗余备份），连接所有网络设备，并把所有服务器连接到该核心交换机上，划分到一个单独的VLAN中。 2.接入层交换机连接所有的终端用户，并把管理层人员和普通的办公人员划分到不同的VLAN中。 3.公司的管理层人员可以访问普通办公人员的计算机，但普通办公人员不能访问管理层人员的计算机。 4.所有用户的计算机都采用DHCP的方法获得IP地址。 5.公司采用Linux iptables 防火墙+路由器上网。公司申请一条100M带宽光纤上网（分两条线路，一条40M，一条60M；要求：服务器占用40M，供外网用户访问，局域网用户占用60M出口访问INTERNET）。 6.公司采用微软的域管理方法，对所有用户的账号和权限通过AD来管理。 7.公司内部要有自己的邮件服务器，并可以和INTERNET的邮件服务器实现收发邮件。 8.公司的防病毒采用统一集中的网络管理模式。 9.严格控制上网时间。 10.出差用户能方便的访问公司内部资料。 三、总体架构 1.根据需求所规划出的整个公司网络系统的拓扑结构图如下图所示：
internet 宿舍楼 1 宿舍楼 2 宿舍楼 3宿舍楼 4 宿舍楼 5 厂房 1厂房 2 3 厂房 4 厂房5 办公楼
各公司管理系统使用地Ceph存储集群
Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人 Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人对它的抱怨也一直存在。本文试着整理作者了解到的一些使用案例。 1. 携程（Ctrip） 携程所使用的各种存储的现状： ?商业存储： ?SAN(HP/ HPS) , 1+ PB, 数据库 ?NAS (HW) , 800+ TB, 文件共享 开源存储 ?GlusterFS, 1+ PB, 数据库备份 ?FastDFS, 1+ PB, 海量照片 ?HDFS, 10+ PB, 大数据 而在不久的将来，随着公司业务的发展，携程需要的存储容量需要扩大到10倍以上。 携程选择Ceph的理由：低成本 + SDS + Scale-out + 统一存储 + 企业特性
携程目前的Ceph集群的配置： ?CephVersion: 0.94.2，H release ?Object Storage: RGW + Swift API ?SDK: Python/ Java/ C#/ Ruby ?OS: Centos 6.4 ?硬件：CPU(2 channels & 32 Core)、Mem128GB、disk（12*3TB/SATA disk +2*256GB raid1 SSD）、NIC(4*Gigabit LAN, bond 2 in 1 pair) RGW 使用架构：
携程有在数据中心之间的同步数据的需求。在研究了 CRUSHmap、Radosgw-agent、Federate gateway （不稳定、不灵活（只支持Zone 之间同步）、不易扩展）后，其自研了COS方案，它具有稳定、灵活、扩展性等特点：
ceph集群维护手册
Ceph群集维护简明手册 (2) 前言 (2) MON (2) MON节点添加 (3) MON节点删除 (4) MON故障恢复 (4) OSD (6) OSD添加 (6) OSD删除 (6) 日志迁移 (6) 硬盘更换 (7) RBD (7) 块存储的基本操作 (7) 快照 (10) 导入导出 (11) 增量备份与恢复 (12)
Ceph群集维护简明手册 作者： 普通人 前言 本手册针对已部署完成ceph集群进行阐述（通过ceph-deploy工具），部署架构图如下： MON 环境配置 节点 主机名 Public ip address Cluster ip address Admin/ceph ubuntu-ceph-06 192.168.0.24 10.10.0.6 ceph ubuntu-ceph-07 192.168.0.25 10.10.0.7 ceph ubuntu-ceph-06 192.168.0.26 10.10.0.8
在管理节点的配置目录下，使用ceph-depoloy工具添加新的mon节点。 1.更新配置文件，添加新mon的信息 2.推送新的配置文件到所有节点，或者在添加时覆盖(ceph-deploy会提示) 3.使用ceph-deploy工具添加MON新节点 root@ubuntu-ceph-06:/opt/ceph# ceph-deploy mon create ubuntu-ceph-08 [ceph_deploy.cli][INFO ] Invoked (1.4.0): /usr/bin/ceph-deploy mon create ubuntu-ceph-08 [ceph_deploy.mon][DEBUG ] Deploying mon, cluster ceph hosts ubuntu-ceph-08 [ceph_deploy.mon][DEBUG ] detecting platform for host ubuntu-ceph-08 ... [ubuntu-ceph-08][DEBUG ] connected to host: ubuntu-ceph-08 [ubuntu-ceph-08][DEBUG ] detect platform information from remote host [ubuntu-ceph-08][DEBUG ] detect machine type [ceph_deploy.mon][INFO ] distro info: Ubuntu 14.04 trusty [ubuntu-ceph-08][DEBUG ] determining if provided host has same hostname in remote [ubuntu-ceph-08][DEBUG ] get remote short hostname [ubuntu-ceph-08][DEBUG ] deploying mon to ubuntu-ceph-08 [ubuntu-ceph-08][DEBUG ] get remote short hostname ………………..] **************************************************************************** [ubuntu-ceph-08][DEBUG ] status for monitor: mon.ubuntu-ceph-08 [ubuntu-ceph-08][DEBUG ] { [ubuntu-ceph-08][DEBUG ] "election_epoch": 0, [ubuntu-ceph-08][DEBUG ] "extra_probe_peers": [ [ubuntu-ceph-08][DEBUG ] "192.168.0.24:6789/0", [ubuntu-ceph-08][DEBUG ] "192.168.0.25:6789/0" [ubuntu-ceph-08][DEBUG ] ], [ubuntu-ceph-08][DEBUG ] "monmap": { [ubuntu-ceph-08][DEBUG ] "created": "0.000000", [ubuntu-ceph-08][DEBUG ] "epoch": 14, [ubuntu-ceph-08][DEBUG ] "fsid": "fc989fb1-eea9-47f4-83e1-999c47df0930", [ubuntu-ceph-08][DEBUG ] "modified": "2015-08-19 02:50:54.480663", [ubuntu-ceph-08][DEBUG ] "mons": [ [ubuntu-ceph-08][DEBUG ] { [ubuntu-ceph-08][DEBUG ] "addr": "192.168.0.24:6789/0", [ubuntu-ceph-08][DEBUG ] "name": "ubuntu-ceph-06", [ubuntu-ceph-08][DEBUG ] "rank": 0 [ubuntu-ceph-08][DEBUG ] }, [ubuntu-ceph-08][DEBUG ] { [ubuntu-ceph-08][DEBUG ] "addr": "192.168.0.25:6789/0", [ubuntu-ceph-08][DEBUG ] "name": "ubuntu-ceph-07", 添加mon节点也可以使用ceph-deploy mon add --address [ADDRESS] hostname
服务器、存储方案
双机热备解决方案 一．双机热备 1.什么叫做双机热备？ 从广义上讲就是服务器高可用应用的另一种说法，英译为：high available，而我们通常所说的热备是根据意译而来，同属于高可用范畴，而双机热备只限定了高可用中的两台服务器。热备软件是用来解决一种不可避免的计划和非计划系统宕机问题的软件解决方案，当然也有硬件的。是构筑高可用集群系统的基础软件，对于任何导致系统宕机或服务中断的故障，都会触发软件流程来进行错误判定、故障隔离、以及通地联机恢复来继续执行被中断的服务。在这个过程中，用户只需要经受一定程度可接受的时延，而能够在最短的时间内恢复服务。 从狭义上讲双机热备特指基于高可用系统中的两台服务器的热备（或高可用），因两机高可用在国内使用较多，故得名双机热备，双机高可用按工作中的切换方式分为：主-备方式（Active-Standby方式）和双主机方式（Active-Active方式），主-备方式即指的是一台服务器处于某种业务的激活状态（即Active状态），另一台服务器处于该业务的备用状态（即Standby状态)。而双主机方式即指两种不同业务分别在两台服务器上互为主备状态（即Active-Standby和Standby-Active状态）。 2. 组成双机热备的方案主要的两种方式 （1）基于共享存储（磁盘阵列）的方式 共享存储方式主要通过磁盘阵列提供切换后，对数据完整性和连续性的保障。用户数据一般会放在磁盘阵列上，当主机宕机后，备机继续从磁盘阵列上取得原有数据。如下图所示。
这种方式因为使用一台存储设备，往往被业内人士称为磁盘单点故障。但一般来讲存储的安全性较高。所以如果忽略存储设备故障的情况下，这种方式也是业内采用最多的热备方式。 （2）基于数据复制的方式 这种方式主要利用数据的同步方式，保证主备服务器的数据一致性。 3.双机热备的工作原理 故障隔离，简单的讲，高可用（热备）就是一种利用故障点转移的方式来保障业务连续性。其业务的恢复不是在原服务器，而是在备用服务器。热备不具有修复故障服务器的功能，而只是将故障隔离。 4. 故障检测 故障检测是双机热备的任务，不同的双机检测点的多少决定了双机热备软件在功能和性能上的优劣，并不是所有的软件都具有相同的检测功能，以PlusWell双机热备软件为例，其提供的是一种全系统检测能力，即检测分为系统级、应用级、网络级三个方面。系统级检测主要通过双机热备软件之间的心跳提供系统的检测功能，应用级提供用户应用程序、数据库等的检测功能，网络级的检测提供对网卡的检测及可选的对网络路径的
ceph安装配置说明
ceph安装配置说明 一、环境说明： 注：在配置系统环境时，需要指定各结点的机器名，关闭iptables、关闭selinux（重要）。相关软件包： ceph-0.61.2.tar.tar libedit0-3.0-1.20090722cvs.el6.x86_64.rpm libedit-devel-3.0-1.20090722cvs.el6.x86_64.rpm snappy-1.0.5-1.el6.rf.x86_64.rpm snappy-devel-1.0.5-1.el6.rf.x86_64.rpm leveldb-1.7.0-2.el6.x86_64.rpm leveldb-devel-1.7.0-2.el6.x86_64.rpm btrfs-progs-0.19.11.tar.bz2 $src为安装包存放目录 二、内核编译及配置：
cp /boot/config-2.6.32-279.el6.x86_64 /usr/src/linux-2.6.34.2/.config make menuconfig #选择把ceph编译成模块和加载btrfs文件系统
make all #若是多核处理器，则可以使用make -j8命令，以多线程方式加速构建内核makemodules_install make install
修改/etc/grub.conf文件，把新编译的linux-2.6.34.2版本内核做为默认启动内核。三、Ceph安装配置： 先安装相关依赖包： rpm -ivh libedit0-3.0-1.20090722cvs.el6.x86_64.rpm --force rpm -ivh libedit-devel-3.0-1.20090722cvs.el6.x86_64.rpm rpm -ivh snappy-1.0.5-1.el6.rf.x86_64.rpm rpm -ivh snappy-devel-1.0.5-1.el6.rf.x86_64.rpm rpm -ivh leveldb-1.7.0-2.el6.x86_64.rpm rpm -ivh leveldb-devel-1.7.0-2.el6.x86_64.rpm 编译安装ceph： ./autogen.sh ./configure --without-tcmalloc --without-libatomic-ops make make install 配置ceph： cp $src/ceph-0.61.2/src/sample.ceph.conf /usr/local/etc/ceph/ceph.conf cp $src/ceph-0.61.2/src/init-ceph /etc/init.d/ceph mkdir /var/log/ceph #建立存放ceph日志目录。 修改ceph配置文件，除客户端外，其它的节点都需一个配置文件ceph.conf，并需要是完全一样的。这个文件要位于/etc/ceph下面，如果在./configure时没有修改prefix的话，则应该是在/usr/local/etc/ceph下： vimceph.conf [global] max open files = 131072 log file = /var/log/ceph/$name.log pid file = /var/run/ceph/$name.pid keyring = /etc/ceph/keyring.admin auth supported = none #取消挂载时的认证 auth cluster required = none #取消挂载时的认证 auth service required = none #取消挂载时的认证 auth client required = none #取消挂载时的认证 [mon] mon data = /data/$name
监控集中存储方案
监控存储解决方案 2010年10月
基本需求 在现存的监控系统中，有400路摄像头，由DVR来网传和存取监控数据，并由存储系统来存储相关数据。 集中式共享存储 采用集中式集中存储，数据和监控录像的管理和备份都非常方便，可以在各个服务器之间直接实现共享，提高了工作效率同时也降低了系统成本。 数据可靠性 数据高度集中的系统，数据的安全是第一位的。必须从硬件到软件方面建立起一套严密的保障措施，尽量减少故障点；并保证在单点或多点故障的情况下，系统能够持续运行，并能在线的恢复正常。通常情况下，采用盘阵列技术来提高数据的可靠性。 配合备份软硬件环境，系统可以增加备份、容灾的功能，进一步提高可靠性。 可扩展性 随着业务的扩大，数据量的增加，存储系统的可扩展性尤为重要，良好的扩展性可以保证业务的连续性。 高性能 由于多路摄像头数据写入，并且同时有多路服务器可能读取数据，总的带宽要求比较大，需要高性能的存储。
解决方案 方案选择 存储局域网络 存储局域网络是建立在服务器集群和存储设备之间的网络，给服务器集群提供集中式的共享的存储空间，便于管理；SAN的优点可归纳为下几点： ●SAN存储系统扩展性好、升级能力强，投资保护性好。 ●实现了存储系统支持数据集中式管理，相关业务系统或全部的应用系统存储系统合并 为统一的存储系统。 ●采用开放式的体系结构，支持多种系统平台的接入，亦即实现跨平台操作。 ●提供包括存储介质、接口设备及连接链路的冗余支持。 ●向网络客户端和应用服务器提供高效可靠的数据存储服务时，同时对应用系统的运行 效率和网络的速度不会产生明显的影响。 IP存储网络 传统的存储网络多采用光纤通道（FC，Fibber Channel）的方式，整个系统包括每个服务器端的光纤通道卡，光纤线，光纤通道交换机等，每片光纤通道卡、以及每个光纤通道交换机端口的价格是普通千兆以太网的10至20倍以上，加上光纤的铺设在中国大部分地区的铺设不普及，整个系统的建设费用非常昂贵。 IP SAN是近些年来新兴的网络存储技术，它希望用TCP/IP以太网替代光纤通道网络。IP SAN的好处在于：使用以太网络，保护了用户现有的投资；以太网系统造价低；以太网是成熟的技术，具有良好的兼容性；以太网络可以扩展到远端，便于系统的做远程的容灾备份；以太网上现有的软件也可以直接使用，例如IP SAN可以直接加上IP sec软件，以达到存储网络加密的目的；千兆以太网络的广泛使用，也使得IP SAN的性能得到提高。总之，采用IP SAN 存储网络，可以达到好兼容性和最高的性能价格比。 iSCSI协议是IP SAN中最为流行的协议，是IP存储的典型代表。
Ceph-原理-安装-维护-Centos7
Ceph在存储中的层次 第一层:物理存储介质。 a.LUN:通常将硬件生成生成的虚拟磁盘叫LUN, 比如raid卡生成的虚拟磁盘。 b.Volume:通常将软件层次生成的虚拟磁盘叫做卷，比如LVM生成的逻辑卷。 c.Disk:就是物理磁盘 第二层:内核层次的文件系统，维护文件到磁层磁盘的映射关系。(用户一般不需要管) 第三层:应用层次的文件系统(需要用户自己手工安装应用程序，启动应用进程) 第四层:网络文件访问系统NFS, CIFS(服务器端装Server，客户端装Client，挂载目录远程访问) Ceph原理
1.Ceph存储系统的逻辑结构 2.Rados的系统逻辑结构 3.Ceph寻址流程
4.ceph部署网络拓扑 备注:Cluster Network可选，但是最好建议有该网络，用于OSD扩展时，后端网络传输数据用。 在实际工作中时，深有体会，如果只有public network，在OSD扩展时，由于ceph需要重新“搬运”数据，导致升级长达5个小时。如果有专门的集群网络(万兆交换机+光钎)，几分钟升级完成。 Ceph安装(ceph-deploy) 1.环境准备以及各ceph节点初始化 ?部署逻辑架构 节点安装组件备注
该章节的操作均通过root执行且在各个ceph节点均要执行 ?修改/etc/hostname #vi /etc/hostname #如果为其他节点调整为其他节点的名称 ceph{number} #如ceph1 #hostname -F /etc/hostname #立即生效，断开shell重新登录 ?创建安装用户irteam且该用户不需要tty #useradd -d /home/irteam -k /etc/skel -m irteam #sudo passwd irteam #echo " irteam ALL = (root) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/irteam #chmod 0440 /etc/sudoers.d/irteam 修改/etc/sudoers，irteam用户不需要tty #chmod 755 /etc/sudoers #vi /etc/sudoers #添加如下配置,而不是将原来的Default requiretty注释掉 Defaults:irteam !requiretty #chmod 440 /etc/sudoers ?yum源以及ceph源设置 #yum clean all #rm -rf /etc/yum.repos.d/*.repo #wget -O /etc/yum.repos.d/CentOS-Base.repo https://www.sodocs.net/doc/f26756895.html,/repo/Centos-7.repo #wget -O /etc/yum.repos.d/epel.repo https://www.sodocs.net/doc/f26756895.html,/repo/epel-7.repo #sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo #sed -i 's/$releasever/7.2.1511/g' /etc/yum.repos.d/CentOS-Base.repo #vi /etc/yum.repos.d/ceph.repo #增加ceph源 [ceph] name=ceph baseurl=https://www.sodocs.net/doc/f26756895.html,/ceph/rpm-jewel/el7/x86_64/ gpgcheck=0 [ceph-noarch] name=cephnoarch baseurl=https://www.sodocs.net/doc/f26756895.html,/ceph/rpm-jewel/el7/noarch/ gpgcheck=0 ?安装ceph #yum makecache #yum install -y ceph
大华监控云存储部署方案
大华监控云存储部署方案 Final revision by standardization team on December 10, 2020.
1云存储 1.1产品形态 一套完整云存储系统包括元数据服务器，云存储数据存储节点 元数据服务器： DH-CSS9064X（最常见） 云存储数据节点： 最常见的型号为DH-CSS7024S-ERD，长的和EVS、NVR差不多，其它还有36盘位、48盘位 DH-CSS7024S-ERD（最常见） 1.2云存储组网 1.2.1确认数据节点型号 通过标签或者网口数量判断是否为直存设备： 通过存储节点标签标注的信息判断： 其中直存型号包括：DH-CSS7124S-ERD，DH-CSS7124S-10GERD，DH-CSS7124S-ESD… 即最后一位是“D”结尾的设备支持直存 通过存储节点的网卡数量判断： 直存设备一般有9个网口（其中一个是web口），带万兆光口的存储节点有7个网卡（其中一个是web口） 只有5个网卡的设备一定是转存的设备 1.2.2组网说明 a)元数据服务器：最新的机器正常情况下3、4两个网口作为心跳口，两台元数据服 务器之间用两根网线直连；1、2两个网口接到存储段交换机，交换机上对应端口需要做链路聚合。 心跳网口网线直连 注：如果是早期的元数据服务器，心跳口可能是1、2网口，请根据实际情况判断。 b)云转存节点：4个网口插满接到存储交换机，交换机上对应的4个端口做链路聚 合；WEB口不插网线。 c)云直存节点：Ex1、Ex2、Ex3、Ex4四个网口做成一组绑定，一般做存储网段，四个 网口插满接到存储交换机，交换机上对应4个端口做链路聚合；1、2、3、4四个网
Ceph安装部署文档
Ceph安装部署文档 目录 一：简介 (1) 二：部署环境介绍 (1) 三：集群配置准备工作 (2) 3.1 : 生成SSH证书，节点建立连接 (2) 3.2 : 建立ip地址list, 修改host文件 (3) 3.3 : 网络端口设置 (3) 3.4 : 安装centos的yum源软件包=>全部节点安装 (4) 3.5 : 添加时间同步定时任务 (4) 3.6 : 安装yum-plugin-priorities. (8) 四：安装ceph软件包 (8) 4.1、安装ceph部署机，使用ceph-deploy方式安装部署 (8) 4.2、安装ceph存储集群（包括ceph对象网关） (8) 五：搭建ceph集群 (8) 5.1 : 新建ceph集群 (9) 5.2 : 添加mon节点 (9) 5.3 : 添加osd节点 (9) 六：安装过程出现的部分错误及解决方法 (11) 七：常用命令 (11) 一：简介 Ceph 生态系统架构可以划分为四部分： 1. Clients：客户端：数据用户 2. mds：Metadata server cluster，元数据服务器：缓存和同步分布式元数据（此文档没有安装mds） 3. osd：Object storage cluster，对象存储集群：将数据和元数据作为对象存储，执行其它关键职能 4. mon：Cluster monitors，集群监视器：执行监视功能 二：部署环境介绍
三：集群配置准备工作 3.1 : 生成SSH证书，节点建立连接 1)所有节点修改hostname vim /etc/sysconfig/network 2)安装SSH (主节点) sudo apt-get install openssh-server 3)ssh登陆证书（主节点） ssh-keygen 将配置完成的证书传输到其它服务器： ssh-copy-id {其他节点用户名}@{其他节点IP} Example: ssh-copy-id root@anode2 4)创建并编辑~/.ssh/config 文件，添加其他Host Host {Hostname} Hostname {https://www.sodocs.net/doc/f26756895.html,} User {Username} Example: Host anode1 Hostname 172.16.100.35 User root Host anode2 Hostname 172.16.100.36 User root Host anode3 Hostname 172.16.100.37
Ceph安装部署文档
Ceph安装部署文档
Ceph安装部署文档目录
二：部署环境介绍 主机名公网IP（eth0） 私网IP（eth1） 双网卡绑定 bond0 运行 服务 操作系统 内核 备注 anode1 172.16.100.35 mon、 osd CentOS6.7 主 节点 anode2 172.16.100.36 mon、 osd CentOS6.7 anode3 172.16.100.37 mon、 osd CentOS6.7 三：集群配置准备工作 3.1 : 生成SSH证书，节点建立连接 1)所有节点修改hostname vim /etc/sysconfig/network 2)安装SSH (主节点) sudo apt-get install openssh-server
3)s sh登陆证书（主节点） ssh-keygen 将配置完成的证书传输到其它服务器： ssh-copy-id {其他节点用户名}@{其他节点IP} Example: ssh-copy-id root@anode2 4)创建并编辑~/.ssh/config 文件，添加其他Host Host {Hostname} Hostname {https://www.sodocs.net/doc/f26756895.html,} User {Username} Example: Host anode1 Hostname 172.16.100.35 User root Host anode2 Hostname 172.16.100.36 User root Host anode3 Hostname 172.16.100.37 User root
网络存储方案配置方法
网络存储方案配置方法 确定您的业务要求设计存储网络的第一步也是最重要的一步是确定您的业务和IT要求。正是这些要求最终促使您作出设计和组件决定。 确定您的要求 利用下列问题来帮助您确定要求： 可用性 ?您需要用来防止计划外停机的重要应用是什么？ ?您需要在不中断业务的情况下完成什么任务（比如增加或重新利用存储资源）？ 可扩展性 ?您的存储要求比您的服务器要求增长速度快多少？ ?来年您预计需要多大的存储容量？ ?来年您预计需要什么样的新应用(ERP、CRM、供给链等)？ 性能 ?您的要害应用的峰值性能需求是什么？ 治理 ?由于缺少资源或技能目前哪种治理任务难以完成？一年内情况会怎样？ ?您愿意将您的存储治理集成到现有的治理基础设施中吗？ 数据备份 ?您需要减少备份窗口的比例是多少？ ?您需要将您的LAN从备份拥塞中解放出来以便使您的应用程序运行速度更快吗？ 灾难恢复 ?在紧急情况下，您需要什么应用程序来迅速、有效切换到另一个备用数据中心？ ?您是否有备用数据中心？假如有，与主用数据中心的距离有多远？ ?您需要在峰值生产时间克隆或快照任务要害型数据？ 服务器和存储空间利用 ?您的数据密集型应用可利用多少可用但不可访问的存储空间（假如该空间在企业共享）？?在您的数据中心是否有物理环境限制？假如有，是什么？ ?您可将哪些旧的小型存储设备整合进新的大容量存储设备中以实现更轻松治理并减少维修费用？
预算 ?假设您可重新获得至少30％的利用不足存储空间，在现有开支情况下，您还可利用多大的存储空间（使您推迟开支）？ 确定您的首要要求 最成功的SAN部署来源于单一要求。看看您的业务要求列表，然后确定哪个要求是最至关重要的，然后集中精力围绕该要求设计、安装和部署解决方案。这可帮助您迅速、经济、轻松地部署SAN。一旦您成功运营一套SAN之后，您就可利用运营结果来展示投资回报情况，并可提供部署更多SAN以满足其他重要业务要求或扩展您的SAN的理由。库存和环境分析您目前可能已经拥有存储基础设施，但是它们却无法满足您的业务需求。幸运的是，您可以在您的存储区域网络（SAN）上重新部署现有的基础设施。SAN可以将新老组件连接在一起，形成可以满足您业务需求的解决方案。除此之外，您还可以选择为自己的SAN购买全新的组件。盘点并分析目前的环境可以帮助您确定哪些现有组件仍然可以满足您的业务需求，并且能够连入您的SAN。即便您计划全部使用新组件，盘点您的物理环境仍可帮助您分析尺寸限制以及布线距离要求。谋取SAN厂商的帮助 假如您仍未找到理想的SAN合作伙伴，现在就是选择的好时机。您所选择的厂商应该在评估、设计、实施以及治理SAN的过程中扮演重要角色，并为您提供诸多帮助。您所选择的SAN厂商应当： ?了解您的业务需求 ?了解SAN ?具有丰富的SAN经验 ?有能力提供SAN总体解决方案，其中包括硬件、软件、培训、专业服务以及支持。 ?熟悉您计划使用的现有组件，有能力将这些组件与新组件集成在一起，形成您自己的SAN解决方案。 盘点之前建立详尽的清单 制定清单，您目前的基础设施上现有的存储设备、服务器以及软件都应列入表中。您可以使用SAN组件库存工作表（XLS）t帮助自己记录这些信息。该清单包括以下内容： ?存储设备 ?主机 ?子组件，比如主机总线适配器（HBA）以及网桥等等。 ?有关地理和位置的内容，比如尺寸限制以及距离等。 ?应用，包括业务模式、性能以及可用性要求。 收集每个组件的具体信息
云数据中心CEPH云存储安装
深圳市展云软件技术有限公司 CEPH安装手册
版本历史
目录 1.CEPH的架构介绍 (6) 2.CEPH在OPENSTACK中应用的云存储的整体规划 (7) 3.CEPH集群安装在UBUNTU 12.04 (8) 3.1.配置CEPH源 (8) 3.2.依需求修改CEPH.CONF配置文件 (8) 3.3.设置主机的HOSTS (9) 3.4.设置集群节点之间无密钥访问 (10) 3.5.创建目录 (10) 3.6.创建分区与挂载 (10) 3.7.执行初始化 (11) 3.8.启动CEPH (11) 3.9.CEPH健康检查 (11) 4.CEPH集群安装在CENTOS6.4 (12) 4.1.安装更新源 (12) 4.2.使用RPM安装CEPH0.67.4 (12) 4.3.依需求修改CEPH.CONF配置文件 (12)
4.5.设置集群节点之间无密钥访问 (19) 4.6.创建目录 (19) 4.7.执行初始化 (19) 4.8.启动CEPH (19) 4.9.CEPH健康检查 (20) 5.OPENSTACK GLANCE 使用CEPH集群的配置 (21) 5.1.创建卷池和图像池 (21) 5.2.增加两个池的复制水平 (21) 5.3.为池创建 CEPH 客户端和密钥环 (21) 5.4.在计算节点应用密钥环 (21) 5.4.1.创建LIBVIRT密钥 (21) 5.4.2.计算节点CEPH安装 (22) 5.5.更新你的 GLANCE-API 配置文件 (22) 6.OPENSTACK VOLUMES使用CEPH集群的配置 (23) 6.1.1.计算节点CEPH安装 (23) 6.2.创建临时的 SECRET.XML 文件 (23) 6.3.设定 LIBVIRT 使用上面的密钥 (23)
大华监控云存储部署方案
1 云存储 1.1 产品形态 一套完整云存储系统包括元数据服务器，云存储数据存储节点 ● 元数据服务器： DH -CSS9064X （最常见） ● 云存储数据节点： 最常见的型号为DH -CSS7024S -ERD ，长的和EVS 、NVR 差不多，其它还有36盘位、48盘位 DH -CSS7024S -ERD （最常见） 1.2 云存储组网 1.2.1 确认数据节点型号 通过标签或者网口数量判断是否为直存设备： ● 通过存储节点标签标注的信息判断： 其中直存型号包括：DH -CSS7124S -ERD ，DH -CSS7124S -10GERD ，DH -CSS7124S -ESD… 即最后一位是“D”结尾的设备支持直存 ● 通过存储节点的网卡数量判断： 直存设备一般有9个网口（其中一个是web 口），带万兆光口的存储节点有7个网卡（其中一个是web 口） 只有5个网卡的设备一定是转存的设备 1.2.2 组网说明 a) 元数据服务器：最新的机器正常情况下3、4 两个网口作为心跳口，两台元数据服务器之间用两根网
线直连；1、2两个网口接到存储段交换机，交换机上对应端口需要做链路聚合。 心跳网口网线直连 注：如果是早期的元数据服务器，心跳口可能是1、2网口，请根据实际情况判断。 b)云转存节点：4个网口插满接到存储交换机，交换机上对应的4个端口做链路聚合；WEB口不插网线。 c)云直存节点：Ex1、Ex2、Ex3、Ex4四个网口做成一组绑定，一般做存储网段，四个网口插满接到存 储交换机，交换机上对应4个端口做链路聚合；1、2、3、4四个网口做成一组绑定，作为业务网段（与存储网段不在同一个子网），其中任意两个接到业务段交换机，交换机上对应2个端口做链路聚合； WEB口不插网线。 直存节点组网连接图，存储端接满四根网线，业务端至少两根网线 云存储搭配实战平台和公安平台使用时，为避免公安网应用等问题，可以采用同网段部署，不区分业务和存储网段（即存储和业务用同一个子网）（如下图）。 PS：公安平台客户端云下载及实战客户端都需要访问sdk接口上传及下载，存储节点配置双网卡后默认网关是业务段的，导致客户端无法访
CEPH分布式存储部署要点
CEPH分布式存储部署 PS：本文的所有操作均在mon节点的主机进行，如有变动另有注释 作者：网络技术部徐志权 日期：2014年2月10日 VERSION 1.0 更新历史： 2014.2.10:首次完成ceph部署文档，块设备及对象存储的配置随后添加。
一、部署前网络规划 1.1 环境部署 主机名公网IP（eth0）私网IP（eth1）操作系统运行服务node1 192.168.100.101 172.16.100.101 CentOS6.5 mon、mds node2 192.168.100.102 172.16.100.102 CentOS6.5 osd node3 192.168.100.103 172.16.100.103 CentOS6.5 osd ◆操作系统使用CentOS6.5，因为系统已经包含xfs的支持可以直接使用不需要再次 编译。 ◆由于CentOS6.5系统的内核为2.6.32，因此要关闭硬盘的写入缓存，若高于此版本 不需要关闭。 #hdparm -W 0 /dev/sdb 0 ◆本次部署一共有一个监控节点、一个元数据节点、两个数据节点，每个数据节点拥 有两个硬盘作为数据盘。 1.2 网络拓扑
1.3 配置服务器、安装ceph ●添加ceph的rpm库key #rpm --import 'https://https://www.sodocs.net/doc/f26756895.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' #rpm --import 'https://https://www.sodocs.net/doc/f26756895.html,/git/?p=ceph.git;a=blob_plain;f=keys/autobuild.asc' ●添加ceph-extras库 #vi /etc/yum.repos.d/ceph-extras [ceph-extras] name=Ceph Extras Packages baseurl=https://www.sodocs.net/doc/f26756895.html,/packages/ceph-extras/rpm/centos6/$basearch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://https://www.sodocs.net/doc/f26756895.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc [ceph-extras-noarch] name=Ceph Extras noarch baseurl=https://www.sodocs.net/doc/f26756895.html,/packages/ceph-extras/rpm/centos6/noarch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://https://www.sodocs.net/doc/f26756895.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc [ceph-extras-source] name=Ceph Extras Sources baseurl=https://www.sodocs.net/doc/f26756895.html,/packages/ceph-extras/rpm/centos6/SRPMS enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://https://www.sodocs.net/doc/f26756895.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc ●添加ceph库 #rpm -Uvh https://www.sodocs.net/doc/f26756895.html,/rpms/el6/noarch/ceph-release-1-0.el6.noarch.rpm ●添加epel库 #rpm -Uvh https://www.sodocs.net/doc/f26756895.html,/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm ●安装ceph #yum update -y && yum install ceph -y