搜档网
当前位置:搜档网 › 分布式存储基础、Ceph、cinder及华为软件定义的存储方案

分布式存储基础、Ceph、cinder及华为软件定义的存储方案

分布式存储基础、Ceph、cinder及华为软件定义的存储方案
分布式存储基础、Ceph、cinder及华为软件定义的存储方案

块存储与分布式存储

块存储,简单来说就是提供了块设备存储的接口。通过向内核注册块设备信息,在Linux 中通过lsblk可以得到当前主机上块设备信息列表。

本文包括了单机块存储介绍、分布式存储技术Ceph介绍,云中的块存储Cinder,以及华为软件定义的存储解决方案。

单机块存储

一个硬盘是一个块设备,内核检测到硬盘然后在/dev/下会看到/dev/sda/。因为需要利用一个硬盘来得到不同的分区来做不同的事,通过fdisk工具得到/dev/sda1, /dev/sda2等,这种方式通过直接写入分区表来规定和切分硬盘,是最死板的分区方式。

分布式块存储

在面对极具弹性的存储需求和性能要求下,单机或者独立的SAN越来越不能满足企业的需要。如同数据库系统一样,块存储在scale up的瓶颈下也面临着scale out的需要。

分布式块存储系统具有以下特性:

分布式块存储可以为任何物理机或者虚拟机提供持久化的块存储设备;

分布式块存储系统管理块设备的创建、删除和attach/detach;

分布式块存储支持强大的快照功能,快照可以用来恢复或者创建新的块设备;

分布式存储系统能够提供不同IO性能要求的块设备。

现下主流的分布式块存储有Ceph、AMS ESB、阿里云磁盘与sheepdog等。

1Ceph

1.1Ceph概述

Ceph目前是OpenStack支持的开源块存储实现系统(即Cinder项目backend driver之一) 。Ceph是一种统一的、分布式的存储系统。“统一的”意味着Ceph可以一套存储系统同时提供对象存储、块存储和文件系统存储三种功能,以便在满足不同应用需求的前提下简化部署

和运维。“分布式”在Ceph系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性。

Ceph具有很好的性能、可靠性和可扩展性。其核心设计思想,概括为八个字—“无需查表,算算就好”。

1.2Ceph系统的层次结构

自下向上,可以将Ceph系统分为四个层次:

基础存储系统RADOS(Reliable, Autonomic, Distributed Object Store,即可靠的、自动化的、分布式的对象存储);

基础库LIBRADOS;

高层应用接口:包括了三个部分:RADOS GW(RADOS Gateway)、RBD(Reliable Block Device)和Ceph FS(Ceph File System)。

RADOS由两个组件组成:一种是数量很多、负责完成数据存储和维护功能的OSD(Object Storage Device)。另一种则是若干个负责完成系统状态检测和维护的Monitor。OSD和monitor 之间相互传输节点状态信息,共同得出系统的总体工作状态,并形成一个全局系统状态记录数据结构,即所谓的cluster map。这个数据结构与RADOS提供的特定算法相配合,便实现Ceph“无需查表,算算就好”的核心机制以及若干优秀特性。

OSD可以被抽象为两个组成部分,即系统部分和守护进程(OSD deamon)部分。OSD 的系统部分本质上就是一台安装了操作系统和文件系统的计算机,其硬件部分至少包括一个单核的处理器、一定数量的内存、一块硬盘以及一张网卡。在上述系统平台上,每个OSD

拥有一个自己的OSD deamon。这个deamon负责完成OSD的所有逻辑功能,包括与monitor 和其他OSD(事实上是其他OSD的deamon)通信以维护更新系统状态,与其他OSD共同完成数据的存储和维护,与client通信完成各种数据对象操作等等。

1.3Ceph中的数据寻址

用户存储数据时的数据路由过程如下图所示:

首先明确几个概念:

File ——用户需要存储或者访问的文件。对于一个基于Ceph开发的对象存储应用而言,这个file也就对应于应用中的“对象”,也就是用户直接操作的“对象”。

Ojbect——RADOS所看到的“对象”。Object与上面提到的file的区别是,object的最大size由RADOS限定(通常为2MB或4MB),以便实现底层存储的组织管理。因此,当上层应用向RADOS存入size很大的file时,需要将file切分成统一大小的一系列object(最后一个的大小可以不同)进行存储。

PG(Placement Group)——顾名思义,PG的用途是对object的存储进行组织和位置映射。具体而言,一个PG负责组织若干个object(可以为数千个甚至更多),但一个object 只能被映射到一个PG中,即,PG和object之间是“一对多”映射关系。同时,一个PG会被映射到n个OSD上,而每个OSD上都会承载大量的PG,即,PG和OSD之间是“多对多”映射关系。在实践当中,n至少为2,如果用于生产环境,则至少为3。一个OSD上的PG 则可达到数百个。事实上,PG数量的设置牵扯到数据分布的均匀性问题。

OSD——即object storage device。

数据路由的过程需要经过几次寻址:

File -> object映射。这次映射的目的是,将用户要操作的file,映射为RADOS能够处理的object。其映射十分简单,本质上就是按照object的最大size对file进行切分。这种切分的好处有二:一是让大小不限的file变成最大size一致、可以被RADOS高效管理的object;

二是让对单一file实施的串行处理变为对多个object实施的并行化处理。

●Object -> PG映射。在file被映射为一个或多个object之后,就需要将每个object独立地映射到一个PG中去。计算公式:hash(oid) & mask ->pgid。根据RADOS的设计,给定PG 的总数为m(m应该为2的整数幂),则mask的值为m-1。因此,哈希值计算和按位与操作的整体结果事实上是从所有m个PG中近似均匀地随机选择一个。基于这一机制,当有大量object和大量PG时,RADOS能够保证object和PG之间的近似均匀映射。

●PG -> OSD映射。第三次映射就是将作为object的逻辑组织单元的PG映射到数据的实际存储单元OSD。如图所示,RADOS采用一个名为CRUSH的算法,将pgid代入其中,然后得到一组共n个OSD。这n个OSD即共同负责存储和维护一个PG中的所有object。前已述及,n的数值可以根据实际应用中对于可靠性的需求而配置,在生产环境下通常为3。具体到每个OSD,则由其上运行的OSD deamon负责执行映射到本地的object在本地文件系统中的存储、访问、元数据维护等操作。和“object->OSD”映射中采用的哈希算法不同,CRUSH算法的结果不是绝对不变的,而是受到当前系统的状态(cluster map)和存储配置策略的影响。故而当系统中的OSD状态、数量发生变化时,Cluster map发生变化,映射的结果也就发生了变化。

1.4写数据的流程

当某个client需要向Ceph集群写入一个file时,首先需要在本地完成寻址流程,将file 变为一个object,然后找出存储该object的一组三个OSD。

找出三个OSD后,client将直接和Primary OSD通信,发起写入操作。

Primary OSD收到请求后,分别向Secondary OSD和Tertiary OSD发起写入操作。当Secondary OSD和Tertiary OSD各自完成写入操作后,将分别向Primary OSD发送确认信息;

当Primary OSD确信其他两个OSD的写入完成后,则自己。也完成数据写入,并向client 确认object写入操作完成。

1.5集群维护

由若干个monitor共同负责整个Ceph集群中所有OSD状态的发现与记录,并且共同形成cluster map的master版本,然后扩散至全体OSD以及client。OSD使用cluster map 进行数据的维护,而client使用cluster map进行数据的寻址。

monitor并不主动轮询各个OSD的当前状态。正相反,OSD需要向monitor上报状态信息。常见的上报有两种情况:一是新的OSD被加入集群,二是某个OSD发现自身或者其他OSD发生异常。在收到这些上报信息后,monitor将更新cluster map信息并加以扩散。

●新增一个OSD时

首先根据配置信息与monitor通信,monitor将其加入cluster map,并设置为up且out 状态,再将最新版本的cluster map发给这个新OSD。收到monitor发过来的cluster map之后,这个新OSD计算出自己所承载的PG以及和自己承载同一个PG的其他OSD。然后与这些OSD取得联系。如果这个PG目前处于降级状态(即承载该PG的OSD个数少于正常值),则其他OSD将把这个PG内的所有对象和元数据赋值给新OSD。数据复制完成后,新OSD 被置为up且in状态,cluster map也更新。

●自动化故障恢复

当其中一个OSD发生故障时,如果其PG目前一切正常,则这个新OSD将替换掉故障OSD(PG内将重新选出Primary OSD),并承担其数据。在数据复制完成后,新OSD被置为up且in状态,而被替换的OSD将推出该PG。而cluster map内容也将据此更新。

●自动化的故障探测过程

如果一个OSD发现和自己共同承担一个PG的另一个OSD无法联通,则会将这一情况上报monitor。此外,如果一个OSD deamon发现自身工作状态异常,也将把异常情况主动上报给monitor。此时,monitor将把出现问题的OSD的状态设置为down且in。如果超过

某一预定时间期限该OSD仍然无法恢复正常,则其状态将被设置为down且out。如果该OSD能够恢复正常,则其状态会恢复成up且in。

1.6在OpenStack中使用ceph

Ceph底层是存储集群RADOS,然后是LIBRADOS,这是一个可以访问RADOS的库。用户利用这个库开发自己的客户端应用。Ceph提供对象存储(RADOSGW)、块存储(RBD)、文件系统(CEPHFS)也就是基于这个库完成的。

在OpenStack中使用Ceph块设备,必须首先安装QEMU,libvirt和OpenStack。。下图描述了OpenStack和Ceph技术层次。libvirt配置了librbd的QEMU 接口,通过它可以在OpenStack中使用Ceph块设备。可以看出OpenStack通过libvirt中的接口调用QEMU,QEMU 去调用Ceph的块存储库libRBD,从而完成在OpenStack中的Ceph使用。

OpenStack 与Ceph 有三个结合点:

●镜像:OpenStack Glance 管理虚拟机镜像。镜像是不变的。OpenStack 把镜像当作二进

制对象并以此格式下载。

●卷:卷是块设备。OpenStack 使用卷来启动虚拟机,或者绑定卷到运行中的虚拟机。

OpenStack 使用Cinder 服务管理卷。

●客户磁盘:客户磁盘是客户操作系统磁盘。默认情况下,当启动一台虚拟机时,它的系

统盘以文件的形式出现在hypervisor 系统上(通常在/var/lib/nova/instances/)。

在OpenStack Havana 以前的版本,在Ceph 中启动虚拟机的唯一方式是使用Cinder 的boot-from-volume 功能,现在能够在Ceph 中直接启动虚拟机而不用依赖于Cinder,这是非常有利的,能够很容易的进行虚拟机的热迁移。除此之外,如果hypervisor 挂掉还能够方便地触发nova evacute然后无缝得在其他的地方继续运行虚拟机。

1.7Ceph的一些问题

关于Ceph作为块存储项目的几个问题需要考虑:

●Ceph在读写上不太稳定(有btrfs的原因),目前Ceph官方推荐XFS作为底层文件系统●Ceph的扩展性较难,如果需要介入Ceph,需要较长时间

●Ceph的部署和集群不够稳定

2AMS EBS

EBS是Amazon提供的块存储服务,通过EBS,用户可以随时增删迁移volume和快照操作。Amazon EBS是目前IAAS服务商最引入注目的服务之一,目前的OpenStack、CloudStack 等等其他开源框架都无法提供Amazon EBS对于的如此弹性和强大的服务。

3Sheep dog

Sheepdog是另一个分布式块存储系统,它与Ceph相比,最大优势就是代码短小好维护和hack的成本很小。Sheepdog也有很多Ceph不支持的特性,比如说Multi-Disk, cluster-wide snapshot等。

Sheepdog主要有两部分,一个是集群管理,另一个是存储服务。集群管理目前使用Corosync或者Zookper来完成,存储服务的特点是在client和存储host有Cache的实现可以大大减小数据流量。

目前Sheepdog只在QEMU端提供Drive,而缺少library支持,这是Sheepdog目前最主要的问题。

云计算中的块存储

4OpenStack Cinder

Nova利用主机的本地存储为虚拟机提供“临时存储”,如果虚拟机被删除了,挂在这个虚拟机上的任何临时存储都将自动释放。基于SAN、NAS等不同类型的存储设备,OpenStack Cinder,Swift引入了永久存储,负责为每个虚拟机本身的镜像以及它所产生的数据提供一个

存储场地。

Cinder是OpenStack中提供类似于EBS块存储服务的API框架,为虚拟机提供持久化的块存储能力,实现虚拟机存储卷的创建、挂载卸载、快照等生命周期管理。Cinder提供的RESTful API针对逻辑存储卷进行管理。其架构如下:

用户通过cinder client发送Restful请求,cinder-api是进入cinder的HTTP结构。Cinder-volume运行在存储节点上管理具体存储设备的存储空间,每个存储节点上都会运行一个cinder-volume服务,多个节点一起构成了一个存储资源池。

Cinder-Scheduler根据预定的策略选择合适的cinder-volume节点来处理客户请求。Cinder-backup提供存储卷备份功能。

Cinder并没有实现对块设备的管理和实际服务,而是为后端不同的存储结构提供了统一的接口,不同的块设备服务厂商在Cinder中实现其驱动支持以与OpenStack进行整合。后端的存储可以是DAS,NAS,SAN,对象存储或者分布式文件系统如ceph。也就是说,Cinder 的块存储数据完整性、可用性保障是由后端存储提供的。Cinder只是提供了一层抽象,然后通过其后段支持的driver实现来发出命令来得到回应。关于块存储的分配信息以及选项配置等会被保存到OpenStack统一的DB中。Cinder默认使用LVM作为后端存储。LVM将众多不同的物理存储器资源组成卷组,从卷组上创建逻辑卷,然后将文件系统安装在逻辑卷上。

其更为细化的架构如下图所示:

5华为软件定义的存储方案

5.1软件定义的存储

传统的存储当中,存储不感知VM,存储扩展困难,LUN配置复杂,修改配置困难;多VM运行同一个LUN时,存在IO blending的问题。

为解决传统存储的问题,可得到软件定义的存储具有以下几个特征:

●自助式的用户接口

●策略驱动的存储,提供SLA保障

●各种存储资源统一池化,自动化管理

●兼容任意硬件,包括通用硬件和专用存储硬件。

5.2华为软件定义的存储相关技术

5.2.1.基于Cinder的华为块存储

为解决传统存储中配置困难、兼容性不好等问题,华为采用了统一的、策略驱动的存储控制平面——OpenStack Cinder。

其中Cinder API是统一的卷管理接口;Cinder Schuduler是基于策略的存储资源调度;Cinder Volume可以介入不同存储厂商的driver,如下图所示:

在当前架构下,管理面上通过Cinder提供统一接口;但各driver之间不能互通,数据面的能力依然参差不齐;各产品之间特性会重叠;整个数据面还不够开放。

5.2.2.华为SDS目标架构

左边的图是当前的架构,右边的图为目标架构。

由图可以看出,目标架构中增加了一层以APP为中心的数据服务,希望提供统一的以

APP为中心的数据服务,提供跨异构存储设备的数据服务,数据服务不依赖任何存储设备提供商。

以APP为中心的数据服务是指以APP为中心的QoS服务,以APP为中心的缓存服务,以APP为中心的瘦分配服务。在这种服务中,所有数据服务提供App力度的策略管理,虚拟机或app可配置QoS要求,如带宽,IOPS,延迟;可配置Cache需求,如介质,容量,算法,可靠性;可配置瘦分配需求,如总容量,预留容量。

●虚拟机或应用细粒度的QoS服务

通过分布式流控、分布式调度和智能资源调整技术,实现按策略组进行流量控制、流量保障和系统资源最大化利用。

由上图可以看出,每个虚拟机后挂载的vDisk都可以进行QoS的配置。

●分布式缓存服务

传统方式,所有APP的SSD cache交织在一起,无法充分发挥SSD的价值;云数据中心应用众多,特征不一,存在SSD blending的问题。

采用新型方式,每个vSSD的容量,Cache算法,块大小,刷盘方式,等可根据应用特征配置;所有的vSSD共用集群中所有的SSD硬件,使用最小的SSD成本,满足所有APP的Qos要求。如下图所示,其中左图为传统模式,右图为新的模式:

其实现方式如下:

●瘦分配

5.2.3.华为分布式存储

●分布式对象存储UDS

●分布式块存储FusionStorage

●分布式文件存储OceanStor

emc存储容灾技术解决方案

EMC VNX5400 存储容灾技术解决方案 2017年8月 易安信电脑系统(中国)有限公司 1

一、需求分析 随着各行业数字化进程的推进,数据逐渐成为企事业单位的运营核心,用户对承载数据的存储系统的稳定性要求也越来越高。虽然不少存储厂商能够向用户提供稳定性极高的存储设备,但还是无法防止各种自然灾难对生产系统造成不可恢复的毁坏。为了保证数据存取的持续性、可恢复性和高可用性,远程容灾解决方案应运而生,而远程复制技术则是远程容灾方案中的关键技术之一。 远程复制技术是指通过建立远程容灾中心,将生产中心数据实时或分批次地复制到容灾中心。正常情况下,系统的各种应用运行在生产中心的计算机系统上,数据同时存放在生产中心和容灾中心的存储系统中。当生产中心由于断电、火灾甚至地震等灾难无法工作时,则立即采取一系列相关措施,将网络、数据线路切换至容灾中心,并且利用容灾中心已经搭建的计算机系统重新启动应用系统。 容灾系统最重要的目标就是保证容灾切换时间满足业务连续性要求,同时尽可能保持生产中心和容灾中心数据的连续性和完整性,而如何解决生产中心到容灾中心的数据复制和恢复则是容灾备份方案的核心内容。 本方案采用EMC MirrorView 复制软件基于磁盘阵列(VNX5300-VNX5400)的数据复制技术。它是由磁盘阵列自身实现数据的远程复制和同步,即磁盘阵列将对本系统中的存储器写I/O操作复制到远端的存储系统中并执行,保证生产数据和备份数据的一致性。由于这种方式下数据复制软件运行在磁盘阵列内,因此较容易实现生产中心和容灾容灾中心的生产数据和应用数据或目录的实时拷贝维护能力,且一般很少影响生产中心主机系统的性能。如果在容灾中心具备了实时生产数据、备用主机和网络环境,那么就可以当灾难发生后及时开始业务系统的恢复。 2

监控存储技术方案

华成网络科技有限公司高清技术方案 对于视频监控而言,图像清晰度无疑是最关键的特性。图像越清晰,细节越明显,观看体验越好,智能等应用业务的准确度也越高。所以图像清晰度是视频监控永恒的追求。然而作为高清的视频,动辄几G到几十G的文件大小,这么大的视频文件,而且有如潮水般的涌现,不仅对存储容量,对读写性能、可靠性等都提出了更高要求。因此,选择什么样的存储系统和方案,往往成为影响视频读写速度的关键。 高清、网络化视频的存储要求 1、在了解高清存储系统之前,必须知道什么是高清? 在高清视频标准中,视频从最低标准到较高标准依次为720线非交错式,即720p逐行扫描;1080线交错式,即1080i隔行扫描;1080线非交错式,即1080p 逐行扫描,屏幕纵横比为16:9,如果是视音频同步的HDTV,标准输出为杜比5.1声道数字格式。 高清视频有常见的三种分辨率,分别是:720P(1280×720P)逐行,美国的部分高清电视台主要采用这种格式;1080i(1920×1080i)隔行;1080P(1920×1080P)逐行。网络视频高清资源以720P和1080i最为常见,其中作为视频监控系统的高清部分,已产品化的设备标准普遍采用720P和1080P的拍摄标准。 2、存储要求之大容量,即高清的文件到底有多大? 高清视频在经过不同的编码处理以后,依据码率不同,而有不同的要求。一般码率在6-20Mb之间,压缩效率、压缩方式不同,所获得的最终文件大小约为:3-10GB/小时,因此便产生了对于存储大容量的要求。当然一般意义上的视频,压缩模式不同,占用的存储空间非常小,这里主要讨论一下高清视频的存储容量。 高清视频的一种应用是提供这些高清网络视频资源下载的高清网站,规模比较小的站点片库中也会有成百上千部电影,这一类的网站在互联网上多如牛毛,而每个站点存储系统的净容量要求至少在几十T,加上某些站点要建立多个文件映射和下载种子以提高综合流量,容量就不仅仅是几十个T了。 另一种应用是高清视频监控,虽然出于经济性考虑,此种应用中高清监控视频压缩率会比较高。目前720P高清视频摄像资料每小时视频录像可压缩到3GB 左右容量,但由于采集的是高清视频,而一般的监控系统摄像路数都是几百乃至上千路,所以这种应用将需要更多的存储设备和更大的存储容量。以此为例,按一个月保存时间要求计算,可以得到这样一个数据: 3GB/小时×24小时×30天×1路=2.16T

存储系统方案

1项目概况 2用户需求分析 2.1性能需求分析 (l)高性能。数据中心应用业务系统,如ERP、办公自动化、文件服务器、Web 和数据库应用等常常要大量地对存储系统进行写入、读取操作,使得存储系统的压力随着业务的扩大而变大,因此,对存储系统的性能将提出更高、更苛刻的要求。 (2)高安全。数据中心的数据安全性要求非常高,一旦数据发生问题,会导致业务连续性受到影响,甚至影响到数据中心正常运行,因此,对存储系统数据的安全性提出了更高、更严的要求。 (3)高可靠性。数据中心提供的服务要求信息能够在24×7h的条件下保持在线状态,系统故障会引起应用服务中断,将给用户造成损失,尤其是在重要的部门和行业,如能源、交通、金融等。 (4)易管理。信息系统由多个业务系统组成,由于业务系统建设时期不同,导致会出现多个存储系统共存的情况,如何在日常工作中对存储系统进行管理,简化工作,降低TCO,是保证存储系统稳定运行的重要因素。 (5)可扩展。存储系统要建设成标准、集中、易扩展的系统,能够在容量、性能需求不断增加的情况下,横向或纵向进行存储空间的平滑扩展。 (6)整合。对关键数据的存储和备份也已成为数据中心运营发展的关键。其数据环境是呈多样性:一是应用类型的多样性,如Web、E-mail;二是数据类型的多样性,在应用业务中包括数据库数据、普通文本、各种格式的图形、表格、多媒体以及其他各种文件格式;三是系统平台的多样性,UNIX、Windows等多种平台的使用方法都不尽相同;四是存储结构的多样性,因为数据中心自身的发展历程和时间的延续,在不同时期的不尽相同的应用导致了多种存储方式并存的现象,规模较大的数据中心可能同时具有从DAS、NAS到SAN的多种存储结构。以成熟技术为核心建设存储系统,有利于存储系统进行整合,整合不同应用的存储系统实现统一管理,也利于灾难备份中心的建设。 2.2功能需求分析

软件定义网络

软件定义网络解决传统网络问题的探究 摘要 SDN是近年来继云计算后,学术界和产业界最为关注的网络技术。首先介绍了传统网络存在的问题;然后介绍了SDN的产生背景、体系架构以及关键技术;最后分析了SDN对传统网络问题的解决。 关键词:软件定义网络;OpenFlow;开放网络 第一章引言 软件定义网络(Software Defined Network,SDN),是由美国斯坦福大学CLean State课题研究组提出的一种新型网络创新架构,其核心技术OpenFlow通过将网络设备控制面与数据面分离开来,从而实现了网络流量的灵活控制,为核心网络及应用的创新提供了良好的平台。 传统网络的世界是水平标准和开放的,每个网元可以和周边网元进行完美互联;计算机的世界则不仅水平标准和开放,同时垂直也是标准和开放的,从下到上有硬件、驱动、操作系统、编程平台、应用软件等等,编程者可以很容易地创造各种应用。 和计算机对比,在垂直方向,从某个角度来说,网络是“相对封闭”和没有“框架”的,在垂直方向创造应用、部署业务是相对困难的。但SDN将在整个网络(不仅仅是网元)的垂直方向,让网络开放、标准化、可编程,从而让人们更容易、更有效地使用网络资源。所以,SDN不能丢掉网络水平方向标准、易互通、节点智能的优势。 第二章传统网络存在的问题 目前,随着互联网爆炸式地增长,除了规模和发展远超之前所有曾出现的数据网络,业务的快速创新也很令人眼花缭乱。近年来,随着各种实时业务如视频语音、云数据中心和移动业务的迅速发展,人们突然发现,传统网络已经无法满足当前的需求: 1、缺失的体验保证 到目前为止,绝大多数IP网络都是基于无连接的,只有基于大宽带的粗放带宽保障措施,质量保证和监控基本处于放弃状态。其后果就是,业务只有连通,而无体验的保证,从而导致业务质量受损。 2、低效的业务部署 由于网络和业务割裂,目前大部分网络的配置是通过命令行或者网管、由管理员手工配置的,本身是一个静态的网络。当遇到需要网络及时做出调整的动态业务时,就显得非常低效,甚至无法实施。 3、缓慢的业务适应 网络无法满足业务的需求,需求持续数年的特性和架构调整、引入新设备,才能满足新业务的需求。例如:云数据中心的虚拟机和虚拟网络运营业务,传统二层的VLAN机制无法满足扩展性,对交换机设备提出了新承载协议的要求,此时物理网络设备更加无法及时适应,靠软件实现的虚拟Switch、通过VxLAN或NvGRE的Overlay的方式,才绕过了物理

软件定义存储SDS(software-defined storage)

软件定义存储SDS(software-defined storage) 2013/7/22 软件定义存储导言:IT领域,新概念总是另人应接不暇,数据中心已经提出向软件进行输出(即软件定义数据中心SDDC),于是有了存储也由软件来进行控制的概念,也就是说软件定义存储。 软件定义存储简介 软件定义存储(software-defined storage)是现存操作系统或监管程序中一种扩展的存储软件,它不需要特定的虚拟机来运行。核心理念为在任何存储上运行的应用都能够在用户定义的策略的驱动下自动工作。【相关概念:软件定义网络SDN、软件定义数据中心SDDC】软件定义存储将存储服务从存储系统中抽象出来,且可同时向机械硬盘及固态硬盘提供存储服务。这样定义和虚拟化存储颇为相似,但是虚拟化存储多数情况下只能在专门的硬件设备上使用。对于许多厂商来说虚拟化存储都要使用自己为其量身定制的设备;或者是在特定服务器上加载的一款软件。不过,它可以被认为是一个用行业标准的服务器硬件来提供存储服务(包括一些存储功能,比如重复数据删除、远程复制、快照和自动精简配置)的软件层。 软件定义存储的目标:将复杂的存储系统封装成为易操作的服务,用户可以通过一个软件或者管理界面方便的管理自己所有的存储资源和内容。软件定义存储是现存操作系统或监管程序中一种扩展的存储软件,它不需要特定的虚拟机来运行。 软件定义存储厂商 Fusion-io的软件定义存储 在2012年Fusion-io的一篇《Fusion-io:软件定义存储的推手—闪存》提到在软件定义的数据中心里,存储是不可或缺的一部分。存储都是通过软件来实现部署、配置和管理的。软件定义存储是软件定义数据中心这一概念的一部分。在这个软件定义的数据中心里,一个应用需要的所有虚拟化存储、网络、服务器和安全资源都可以通过软件进行定义,并自动进行分配。而软件定义存储这一市场的快速发展离不开闪存,因为现在闪存式服务器中储存热数据的最佳设备。从这点看,Fusion-io的闪存策略确实有向软件定义存储倾斜的必要。 为了加快向软件定义存储形象的转变,Fusion-io收购ID7,ID7创立于2006年,其最被人熟知的是软件定义存储(SDS)策略,另外ID7还是Linux存储子系统SCST的开发者,两家公司已经在一起共同开发了ION数据加速软件,这个软件主要用于将服务器转换成为存储贡献设备。 EMC押注虚拟存储新星ScaleIO EMC已经确认对以色列虚拟存储业新贵ScaleIO进行收购,ScaleIO的ECS(即弹性融合存储)软件能够将一台服务器的直连存储(简称DAS)转化为共享式SAN(即存储区域网络)。事实上,ECS属于一种虚拟存储设备(简称VSA),因此其市场定位与惠普的纯软件StoreVirtual 产品存在竞争关系。配备于旧款LeftHand iSCSI SAN控制器中的该软件已经充分证实了自身的可用性;而向服务器环境的进军将使其以SAN的姿态与用户见面。 根据SacleIO公司的说法,其技术足以将数以千计的服务器以集群化形式整合在虚拟SAN(即VSAN)当中,通过每台服务器为整套VSAN分别处理I/O任务,从而带来更强的I/O 性能与存储容量。VSAN支持动态规模调整,我们注意到这一特性明显属于软件定义存储方案的衍生产品。 相关的厂家还有SwiftStack公司,SwiftStack是建立一个完整的软件定义存储解决方案,

一级视频云存储技术方案

1一级视频云存储系统设计 1.1一级网络视频云存储概述 本项目采用华为网络视频云存储VCN3000设计一级视频云存储子系统.采取分布式直接存储,集中管理的方式,针对摄像头视频存储硬件采用针对视频存储优化的网络视频存储和磁盘阵列,所有的存储设备部署在各辖区运营商机房(六个),前端摄像头采用标准的H.264编码RTP流,直写到网络视频存储中。 华为网络视频云存储VCN3000采用由管理平台、IP网络,通过虚拟化、云结构化和高精确视频直接存储模式。运用负载均衡、对象存储等技术,结合视频、图片数据特点,面向应用,满足视频监控业务高可靠性、不间断的海量存储需求。采用分散存储技术加速大数据智能分析快速提取和分析效率。 华为网络视频云存储VCN3000系统使用存储虚拟化技术针对海量存储应用需求,为用户提供透明存储构架、高可扩展性的云管理存储服务。在云管理存储系统中将信令与业务承载码流相分离,云管理服务器只处理控制信令而不处理视频数据,实时视频数据直接写入到云管理存储物理存储节点,无需中间环节。 视频云管理存储管理软件在市局监控中心以集群方式进行部署,实现全市所有监控点和所有云管理存储物理设备的统一管理。 视频云管理存储系统中,IPC直写存储设备,采用云管理方案解决云管理存储管理单节点失效问题,利用负载均衡技术充分利用各存储节点的性能。云管理存储系统采用统一接口与视频管理平台对接,降低平台维护和用户管理复杂度。 华为网络视频云存储VCN3000支持基于GB/T28181标准实现与各级标准平台(符合GB/T28181规范的标准平台)间的互联互通,平台之间通过信令安全路由网关进行信令对接,在信令的控制下媒体通过媒体服务器互联。该体系构架可以支持上下级级联、平级级联以及监控报警专网与公安网的互联。

软件定义网络(SDN)的国内外研究与发展现状

题目:软件定义网络(SDN)的国内外研究与发展现状一、背景 Software Defined Networking是Kate Greene创造的一个词,在大约2009年提出的。它是指网络的控制平面与实际的物理上的拓扑结构互相分离。这种分离可以使控制平面用一种不同的方式实现,比如分布式的实现方式;另外,它还可以改变控制平面的运行环境,比如不再运行在传统交换机上的那种低功耗CPU上。 所以SDN的关键所在就是控制层与网络数据层是分离的,并不是传统的嵌入关系。并且这种关系在物理实现上也是分离的,这意味着控制层与网络数据在不同的服务器与路由器上操作。而连接两者的“协议”就是OpenFlow,OpenFlow的要点就是相当于给路由器安装一个小软件OpenFlow(后文详细论述),然后研究人员就可以很容易的改变路由器的路由规则等等,从而改善网络质量。而且这是看似没有新意的主意最大的新意就是大大开放了接口权限,所以面向众很广,门槛也比较低。 近年来,伴随着云计算、大数据的迅速兴起,人们对数据业务的流量要求越来越大。而相比于互联网日新月异,不断创新多变的应用层,网络层的发展却越来越跟不上步伐,显得愈发死板不够兼容灵活。而网络层日益落伍的根源则是控制网络运行的软件都是内嵌入路由器或是交换机中,并且交换器或是路由的软件操作标准又是不太一致的,所以就造成了路由器/交换机的复杂度大大提高,造成了很大的流量阻塞和资源浪费。所以SDN的作用不是由嵌入到路由器和交换机内部的软件来控制网络流量,而是来自设备外部的软件接手了这部分的工作。网络布局,或者说网络的形态分布,不再是植入在物理端。它将对实时的系统需求非常灵活且可调节。如果SDN实行得当的话,这意味着一个运行在云端自身内部的应用程序可以接管引导网络流量的任务。或者说一个第三方云端管理应用程序将能够完成这项任务。这样可以简化许多工作,诸如跨服务器装载平衡设备,以及自动地调节网络构造来适时给出最快最高效的数据路径。 二、文献引述 文献[1]主要重在介绍讨论了SDN在数据层、控制层以及应用层的一些关键技术,并从SDN的诞生背景引入,详细说明了SDN的发展历程。在文献[1]中在SDN的层次结构中,文章重点针对了其中的一致性、可用性以及容错性进行分析,并结合SDN的一些热门特性探讨未来的发展之路和新的潜力点。 文献[2]是一篇研究综述,主要阐述了SDN中的关键技术OpenFlow。并详细介绍了

安防高清视频监控存储技术方案

安防高清视频监控存储技术方案 【IT168 方案】对于视频监控而言,图像清晰度无疑是最关键的特性。图像越清晰,细节越明显,观看体验越好,智能等应用业务的准确度也越高。所以图像清晰度是视频监控永恒的追求。然而作为高清的视频,动辄几G到几十G的文件大小,这么大的视频文件,而且有如潮水般的涌现,不仅对存储容量,对读写性能、可靠性等都提出了更高要求。因此,选择什么样的存储系统和方案,往往成为影响视频读写速度的关键。 高清、网络化视频的存储要求 1、在了解高清存储系统之前,必须知道什么是高清? 在高清视频标准中,视频从最低标准到较高标准依次为720线非交错式,即720p逐行扫描;1080线交错式,即1080i隔行扫描;1080线非交错式,即1080p 逐行扫描,屏幕纵横比为16:9,如果是视音频同步的HDTV,标准输出为杜比5.1声道数字格式。 高清视频有常见的三种分辨率,分别是:720P(1280×720P)逐行,美国的部分高清电视台主要采用这种格式;1080i(1920×1080i)隔行;1080P(1920×1080P)逐行。网络视频高清资源以720P和1080i最为常见,其中作为视频监控系统的高清部分,已产品化的设备标准普遍采用720P和1080P的拍摄标准。 2、存储要求之大容量,即高清的文件到底有多大? 高清视频在经过不同的编码处理以后,依据码率不同,而有不同的要求。一般码率在6-20Mb之间,压缩效率、压缩方式不同,所获得的最终文件大小约为:3-10GB/小时,因此便产生了对于存储大容量的要求。当然一般意义上的视频,压缩模式不同,占用的存储空间非常小,这里主要讨论一下高清视频的存储容量。 高清视频的一种应用是提供这些高清网络视频资源下载的高清网站,规模比较小的站点片库中也会有成百上千部电影,这一类的网站在互联网上多如牛毛,而每个站点存储系统的净容量要求至少在几十T,加上某些站点要建立多个文件映射和下载种子以提高综合流量,容量就不仅仅是几十个T了。 另一种应用是高清视频监控,虽然出于经济性考虑,此种应用中高清监控视频压缩率会比较高。目前720P高清视频摄像资料每小时视频录像可压缩到3GB 左右容量,但由于采集的是高清视频,而一般的监控系统摄像路数都是几百乃至上千路,所以这种应用将需要更多的存储设备和更大的存储容量。以此为例,按一个月保存时间要求计算,可以得到这样一个数据: 3GB/小时×24小时×30天×1路=2.16T

软件定义网络SDN文献综述

软件定义网络SDN研究 文献综述 1.引言 现有的网络设备(如交换机、路由器等)都是设备制造商在专门的硬件系统基础上高度集成大量网络协议、配备专用的设备控制系统,构成的一个相对独立封闭的网络设备[1]。在近几十年的发展过程中,云计算、移动互联网等相关技术的兴起和发展加快了网络技术的变革历程[2]。网络带宽需求的持续攀升、网络业务的丰富化、个性化等都给新一代网络提出了更高的要求。面对日益复杂的网络环境,这种紧耦合大型主机式的发展限制了IP网络创新技术的出现,更多的是通过不断增长的RFC数量对现行网络进行修修补补,造成了交换机/路由器设备控制功能的高度复杂。网络研究人员想要在真实网络中基于真实生产流量进行大规模网络实验几乎是不可能的,因为网络设备是封闭的,没有提供开放的API,无法对网络设备进行自动化配置和对网络流量进行实时操控。 为了适应今后互联网业务的需求,业内形成了“现在是创新思考互联网基本体系结构、采用新的设计理念的时候”的主流意见[3],并对未来网络的体系架构提出了新的性质和功能需求[4]。软件定义网络[5]SDN的出现为人们提供了一种崭新的思路。 本文从SDN的起源和概念出发,分析了SDN的逻辑架构与技术特点、描述了SDN 的标准化进程,梳理了国内外的研究进展与最新动态,在此基础上提出了SDN技术在未来的发展中面临的挑战并总结了可能的研究方向。 2.起源与概念 2.1起源 2006 年,斯坦福大学启动了名为“Clean-Slate Design for the Internet”项目,该项目旨在研究提出一种全新的网络技术,以突破目前互联网基础架构的限制,更好地支持新的技术应用和创新。通过该项目,来自斯坦福大学的学生Martin Casado 和

视频云存储方案

视频监控系统整合云存储方案 2016年11月

目录 一、前言 (3) 1.1物联网与视频监控 (3) 1.2项目运用背景 (5) 二、云计算和云存储 (7) 2.1云计算的概念 (7) 2.2云存储的概念和技术优势 (7) 三、云存储产品介绍 (9) 3.1云存储核心产品 (9) 3.2架构 (9) 3.3 优势及特点 (10) 四、现有存储与云存储对比 (11) 4.1现有存储系统结构 (11) 4.2云存储结构 (12) 4.3两种存储方式详细比较 (13) 五、基于云的云存储解决方案 (15) 5.1方案背景及概述 (15) 5.2方案拓扑图 (17) 5.3功能特色 (17) 六、云存储其它运用 (18)

一、前言 1.1物联网与视频监控 当前,物联网技术在社会公共安全领域的综合应用时机已逐渐成熟。视频监控技术是物联网技术的重要组成部分,是感知安防的主要手段。视频监控也是应用历史相对较长、技术密集度较大的应用领域。在信息化建设深入开展的背景下,现有视频监控网络存在着缺乏深度应用的模式、监控网的智慧化程度不高、系统建设的投入产出比低等突出问题。如何用新技术改造现有的视频监控网络,使之能更好地适应物联网时代视频监控智慧化、情报化的应用需求已迫在眉睫。 视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和 智慧交通的重要组成部分,面临着深度应用的巨大挑战。其应用的瓶颈是视频信息如何高效提取,如何同其他信息系统进行标准数据交换、互联互通及语义互操作。解决这一问题的核心技术即是视频结构化描述技术。用视频结构化描述技术改造传统的视频监控系统,使之形成新一代的视频监控系统———智慧化、语义化、情报化的语义视频监控系统。 视频监控应用和技术的瓶颈 视频监控系统在社会管理和案件侦破等工作中有着不可替代的作用。粗略估算,"十一五"期间全国各地投入到视频监控系统建设的资金约为数十亿元。视频监控系统无论在数目还是在建设资金的规模上都非常庞大。 目前视频监控系统应用中存在一些突出问题: 1.缺少视频信息情报的标准化生成方法,进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式。 2.视频信息的跨域、跨警种共享以及与其他信息系统的互联互通问题突出,跨系统的语言不统一造成信息成为一个个的孤岛,限制了大情报、大信息系统的建设及应用。 3.存储传输的问题、由于要节省大量的存储空间及传输带宽的限制,不得不对视频数据进行大量压缩,不仅造成图像模糊的问题,而且视频压缩时固定压缩比的方式不够灵活,不得不占用大量的存储空间及传输带宽。

软件定义存储SDS

概述 如今的数据中心已经演变为融合IT 基础架构,可支持将存储、计算和网络集成在一起的完善系统。幸运的是,对于IT 和用户而言,数据中心已经克服了他们一直以来所面临的一些挑战,包括独立的专有服务器、存储和网络孤岛,这些孤岛无法充分利用资源,并且导致IT 运营效率低下。虚拟化的实施从服务器虚拟化的角度大大缓解了这些问题。在硬件利用率得到优化后,IT 可以更高效地管理数据中心,进而更好地控制成本。实际上,ESG 已经见证了基础架构利用率从个位数到50%-60 %以上的飞涨。 但是,虚拟化终究并不仅限于服务器级别。在服务器虚拟化之外,必须实现存储和网络组件的虚拟化,才能打造出完整的软件定义的数据中心(SDDC)。要获得业务竞争力,必须提高灵活性和效率,而SDDC 正好可以做到这一点(参见图1)。 图1. 从传统IT 过渡到新型IT 来源:Enterprise Strategy Group ,2015年 软件定义的解决方案是将策略控制从底层硬件中分离出来的解决方案。智能功能不再集成到专用硬件中,而是被提取到分布式软件层中,以实现基于策略的编程式控制和更为简单的集中管理。从本质上讲,使用软件定义的解决方案、标准化硬件和简化的管理有助于控制IT 预算。 ESG 简介 软件定义的存储:简化IT 运营 日期:2015年1月 作者:Mark Bowker ,高级分析师 摘要:无论数据中心先进到何等程度,它们都要不断做出改变才能满足虚拟化环境的各种需求。但是随着软件定义的存储(SDS)体系结构的问世,与超融合技术关联的功能(包括计算、存储和联网)可帮助数据中心在减少网络级管理员干预的同时满足虚拟化要求。这一灵活、横向扩展且高度自动化的体系结构能够为各项工作负载提供企业级数据服务,而且能够简化管理、减少重新配置并降低总拥有成本,从而在控制成本并为数据中心带来灵活性和效率的同时,提供适当级别的容量、性能和保护。

软件定义数据中心的成功五要素

软件定义数据中心的成功五要素 软件定义的数据中心的一个首要目标就是,帮助IT部门提高灵活性,为用户们迅速提供类似云服务的服务。它还承诺:以一种更协调、更简化的方式提供IT服务,从而节省资金。基础设施的各部件和服务具有如下特点:合并、完全自动化、受业务策略驱动、集中管理,以提高性能。软件定义的数据中心(SDDC)可以监测需求,并且配置适当的资源,短短数秒内即可自动响应。 为存储、网络和计算等部件开发软件定义解决方案的供应商们预测效果会很好,比如资本开支可以节省75%,运营开支可以节省55%。支持软件定义的数据中心的技术有助于消除传统数据中心在计算、网络和存储等方面的孤岛,并且夯实在许多大中型企业已成熟起来的服务器虚拟化基础设施。 不过与往常一样,光凭技术无法达到要求。SDDC需要对IT流程进行一番相当全面的重新设计,才能带来它声称有望带来的诸多优点:节省成本、提高生产力和业务灵活性。下面这五个策略可以帮助你在向软件定义的基础设施迁移的过程中尽量确保成功。 1. 从小处入手 对采用软件定义的数据中心的许多公司来说,面临的最大障碍就是惰性。过去有一种误解(这一方面归咎于供应商):公司必须一头扎入,同时改造数据中心的全部运营系统,以及/或者致力于一开始就要耗用大量资源的项目。这让人望而生畏,事实上也没有必要。 相反,你开始趟上SDDC之旅时先从一个小规模项目入手。这个小项目与某个不太显眼的服务或活动有关,仅仅涉及SDDC环境的一个层面:比如计算、网络或存储。比如说,迁移涉及数据库服务的存储工作负载就是让你有机会试水的理想项目。如果公司在不干扰服务的情况下,使用VMWare Live Migration之类的技术来动态迁移虚拟机,就有机会了解SDDC,并获得可以量化的效益,比如正常运行时间达到100%。 反过来,力争整个电子商务网站最先试水SDDC可能会带来灾难。这种类型的项目涉及多个应用服务(库存、订单管理和发货),因而需要软件定义的存储、网络和计算等方面的解决方案都无缝地协同运行。要是新的基础设施出现了什么故障或延迟――试用新技术时很可能会出现这种情况,高层管理班子一下子就会看到负面结果。要是创收系统停运,哪怕停运一分钟,首席执行官也不乐意。 如果从一个小规模的非关键性项目入手,IT人员就可以迅速了解情况,并为下一个项目完善流程,因而可以在不带来业务风险的情况下,加强SDDC方面的专长。 2. 具备必要的技能 在软件定义的数据中心,IT团队需要懂得系统自动化和编排的人员。这些技能涵盖不同的技术领域,通常与业务部门、与外部服务提供商密切合作的人员或者担任跨部门角色的人员(比如系统管理员)才具备这些技能。 其次,要明白SDDC技术通常与供应商密切相关。比如说,选择一款思科的解决方案就需要在思科网络方面拥有专长的人员。根据贵公司内部拥有的技能来选择平台要容易得多,风险也要低得小,而不是试图对人员进行再培训、熟悉一种陌生的技术。即便如此,即便企业拥有一支很能干的团队,SDDC还是处于早期阶段,IT部门仍需要在培训、支持及外部咨询方面投入资金。 3. 评估遗留技术和供应商合同 没有哪个明智的IT负责人会为了采用SDDC功能而想要(或能够)丢弃并更换所有系统和供应商关系。IT部门应该根据与供应商签订的长期合同和购买力,将业务优先级纳入进来,然后根据那些关系再来决定购买怎样的SDDC。

软件定义数据中心及其自然演变法则

软件定义数据中心 及其自然演变法则 胡经国 本文作者的话 本文是根据有关文献和资料编写的《漫话云计算》系列文稿之一。现作为云计算学习笔录,奉献给云计算业外读者,作为进一步学习和研究的参考。希望能够得到大家的指教和喜欢! 下面是正文 一、软件定义数据中心概念的提出 随着大数据和云计算的蓬勃发展,软件定义数据中心等新概念横空出世,让大家看到了下一代数据中心的雏形。软件定义数据中心这一概念的提出,让数据中心这个统一的数据中心平台,将凭借前所未有的自动化、灵活性和效率,帮助用户实现IT 交付方式的转变。 不得不承认,现如今软件已经渗透到我们生活的每个角落,成为日常生活的组成部分之一。软件无处不在。在潜移默化之中,改变着身边几乎所有的生意模式。它让业务更便捷、更智能。 当然,软件也实实在在地改变着我们的数据中心。下一代数据中心,毫无悬念会是软件定义下的数据中心。那么,在未来,又将如何来提升软件定义数据中心的能力,从而真正展现出数据中心的价值呢? 为此,有关人士访问了VMware大中华区技术总监张振伦先生,就相关话题进行了进一步的探讨。 二、数据中心的自然演变法则 随着云计算的兴起,数据中心服务急切地想摆脱专用硬件的束缚,从而摆脱传统IT复杂而不灵活的困境。数据中心从开始的电脑机房、信息中心演变到现今,演变成可以通过软件定义的数据中心。从这个发展过程中足以看出,在软件定义的趋势下,整个数据中心的每个组件都可以做到“软件化”。 张振伦表示,虽然在数据中心中硬件的投入占有巨大比例,但是其所承载的应用才是用户所关注的。硬件的性能与应用的性能,无法直接地做到有效对应,这也是从业者需要考量的问题。所以,急需在硬件完善的基础上,实现应用的完美匹配。”从以前以硬件为主的数据中心,到如今软件定义的数据中心,不止是从业者在看待问题时的角度发生了改变,而且也是顺应潮流与趋势在提升着自身的能力。

存储系统建设技术方案(最终版)

1 数据中心容灾备份方案概述 1.1概述 当今社会,政府和企业利用计算机系统来提供及时可靠的信息和服务是必不可少的,另一方面,由于各种预见和不可预见的原因,计算机硬件和软件都不可避免地会发生故障,导致不能及时的提供信息和服务,甚至整个计算机系统的终止,网络的瘫痪,等等,给政府和企业带来极大的经济损失,影响政府、企业的形象。特别是数据库数据,一旦发生故障,引起数据丢失,不可恢复的话,将带来严重后果。 可见,对于这些政府部门和企业,系统的容错性和不间断性尤显得重要。因此,必须采取适当的措施来确保计算机系统的容错性和不间断性,以维护系统的高可用性和高安全性,最大可能减少由于各种故障造成的损失,提高政府和企业形象。 数据备份是容灾的基础,是指为防止系统出现操作失误或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。 1.2国家信息安全规范和政策 进入21世纪,电子政务的建设已经成为我国今后一个时期信息化工作的重点,政府先行带动国民经济和社会发展信息化,同时加快政府职能的转变,提高行政质量和效率,增强政府监管和服务能力,促进社会监督,实施信息化带动工业化的发展战略,因此,电子政务意义重大,电子政务的信息安全更是重中之重,我国至今已发布一系列的文件对灾难备份建设进行指导和监督。 ⑴、2003年9月7日中共中央办公厅、国务院办公厅发出通知,转发《国家信息化领导小组关于加强信息安全保障工作的意见》(简称中办发[2003]27号文件),要求各地结合实际认真贯彻落实,各基础信息网络和重要信息系统建设要充分考虑抗毁性与灾难恢复,并制定和不断完善信息安全应急处置预案。《国家信息化领导小组关于加强信息安全保障工作的意见》是为进一步提高信息安全保障工作的能力和水平,维护公众利益和国家安全,促进信息化建设健康发展而提出的。 ⑵、2004年9月,国务院信息化办公室专门下发了《关于做好国家重要信息系统灾难备份的通知》,要求在系统面临自然灾害、网络攻击、恐怖活动、战争行为、人为蓄意破坏以及大规

软件定义存储SDS修订稿

软件定义存储S D S WEIHUA system office room 【WEIHUA 16H-WEIHUA WEIHUA8Q8-

软件定义存储SDS 摘要:软件定义存储, Software Defined Storage。出现背景:应对数据暴增, 成本降低到普通机架式服务器硬盘的价位, 兼容各种硬件的开放性, 可在线横向扩展; 哪些新的技术显着地改变了存储架构: SSD, SDS, CPU多核技术, 高速网络, 大容量服务器和磁盘, 多副本存储方式。最近两、三年,在IT圈里,除了云计算、大数据、人工智能之外,最火的就属“软件定义”了,先是有软件定义网络 (SDN,Software Defined Networking),继而有软件定义数据中心(SDDC, SoftwareDefined Data Center)和软件定义存储(SDS, Software Defined Storage)。转载自百度百家或微信公众号 -乐生活与爱IT。 1. 为何出现软件定义存储? 为何出现软件定义存储? 人类各项发明、创新,大多都是为了更加的高效、方便、灵活,并且节省成本。例如,从种植业、畜牧业的出现,到蒸汽机的发明,到自来水、集中供电的出现,再到互联网的出现(信息传递更快更高效,更省成本),无一不是如此。 IT也不例外,以企业级存储为例,近10年来逐渐出现的自动分级、去重、压缩也是为了更高效地使用存储资源,更节省成本。而最近两三年,软件定义存储的出现,依然是为了这个需求。 伴随着需求,还有两大背景:

一是,随着个性化、物联网、万联网的发展,数据以前所未有的速度迅猛增长,数据的存放、管理、优化、利用成为难题,用户面临着如下挑战: 存储利用率低,数据僵化在某些硬件组件里,难以提供随需动态变化的服务等级,缺乏精确的控制,部署和调整存储资源需要经过复杂的流程(例如需要应用管理员与存储管理员等进行协调),自动化程度低,对请求的响应慢,……。 二是,虚拟化、云计算和硬件技术的发展,使得软件定义成为可能;在此之前,存储用户也希望更加高效、简单、灵活,且成本较低,但十年前,SSD和高速网络尚未出现或发展不够,分布式存储难以堪当重任;彼时虚拟化云计算还未出现或者尚未成熟,从存储中调用控制信息给前端应用或OS使用,去实现灵活敏捷的存储资源的部署,在那时还不是那么迫切。 随着虚拟化和云计算的普及,用户的思维方式也发生了转变,逐渐意识到,快速、敏捷、灵活地获取计算资源已经成为可能,并且逐渐要求能按需使用,按需付费。因此,做为虚拟化和云计算里重要的组成部分,存储也应适应新的需求而不断完善。 下面围绕这这两大背景展开阐述: 我们先来看一下,在物联网、万联网(IoT, Internet of Things)的伴随下,未来数字宇宙的惊人变化。我们知道: KB= 210 x Byte ; MB=210 x KB ; GB=210 x MB ; TB=210 x GB ; PB=210 x TB ; EB=210 x PB ;

EMC软件定义存储解决方案

EMC 软件定义存储解决方案 将物理基础架构转变成为适用于云和软件定义数据中心的简单、可扩展且开放的虚拟 存储资源 概述 在 2013 年 5 月 6 日,EMC 将宣布其在 2013 年下半年发布 Project Bourne 即 EMC 革命性软件定义存储解决方案的计划。EMC 软件定义存储可将EMC 和第三方存储转变成为简单、动态的虚拟存储池,通过使数据中心实现自动化、管理和提供存储,实现更高的效率。完成虚拟化后,企业和服务提供商将可以轻松地在异构存储中自动和集中进行存储管理和调配,从而提供自助式存储和新的数据服务以获得更高价值,而这一切都通过一个公共基础架构完成。 益处包括: ?简化存储管理和提供:EMC 软件定义存储通过自动执行重复的存储管理、终端用户和IT 流程以及交互,简化 EMC 和第三方阵列中的调配、提供和管理流程。 ?扩展到EMC 之外:EMC 软件定义存储可扩展存储体系结构。它将EMC 和第三方存储、云堆栈和数据服务集成在一起,使得改变和演变现有存储以满足新的云级工作负载和传统工作负载变得更容易,同时还能保留底层阵列的功能。 ?开放式体系结构:EMC 软件定义存储是开放式体系结构,可为开发人员和 ISV 提供云堆栈选择(例如VMware 和OpenStack)以及REST API,包括Amazon S3、OpenStack Swift 和 EMC Atmos,用于构建丰富的数据服务。 描述 EMC 软件定义存储可解决数据中心 IT 主管及其管理员所面临的诸多存储难题:?数据中心通常具有遍及多个地点的多个供应商提供的多个存储系统。这些系统使用多个管理工具,这使得难于了解总体存储使用情况、可用性、性能和运行状况。 ?应用程序所有者和开发人员在诸如云驱动型API 和虚拟化等技术的刺激下,现在期望拥有存储资源(例如计算资源),以应对不时之需。传统存储环境无法满足这些期望,这导致许多应用程序所有者和开发人员转向公共云来获得存储资源。 EMC 软件定义存储借助现有基础架构,提供一种新的方式来满足数据、市场和业务的需求:?EMC 软件定义存储将物理阵列中的存储抽象为虚拟存储池,同时保留底层阵列中的特有功能。完成虚拟化后,存储提供和管理将变得很简单。 ?EMC 软件定义存储通过创建策略驱动型虚拟存储池并提供自助式访问,自动执行调配。它在物理存储和虚拟存储中通过一个界面来集中进行存储生命周期管理。 ?由于它是软件定义存储,因此,用户可以轻松地扩展EMC 软件定义存储以支持非EMC 阵列并与云堆栈相集成。 ?EMC 软件定义存储还支持开放式 API,使数据和应用程序不用依赖于存储。IT 可以借助现有基础架构满足云级工作负载和使用情形,创建新的数据服务,以及利用开放式开发社区获得其他功能。

存储解决方案

存储解决方案 方案概述 随着企业的发展壮大,业务的不断增加,以及信息化建设的提高,信息中心运行的各类计算机系统越来越多,所产生的数据量也势必迅猛增长。面对如此多的计算机系统及其数据量,如何确保数据的一致性、安全性和可靠性;如何建立一个强大的、高性能的、可靠地数据容灾平台;如何实现高效的数据存储管理;已经是很多中小企业所不得不面临的难题了,所以升级企业数据存储能力或制定一套完善的数据存储备份方案势在必行,不可或缺。那么这里就产生了我们所说的“存储解决方案”这个概念,所谓存储解决方案,对于针对不同的企业环境所采用的一套切实可行的存储解决方案。智能的数据存储与管理可帮助企业对存储的内容进行分类和确定优化级,并更加高效而安全地将其存储到适当的存储资产中。 火星舱智能存储系统,不但提供了传统SAN+NAS磁盘阵列的功能,还具备多项独特的实用特性——SSD读写缓存、自动精简配置、重复数据删除、压缩、无限快照、远程复制容灾等。 采用自主研发基于UNIX内核的专用存储操作系统,集众多智能存储功能于一身的磁盘阵列存储设备,能轻松应对各种数据类型的存储负载。支持传统和永久热备盘两种保护模式,基于 Copy-on-write事务模型设计的独特“快写条带技术”,大幅提升写性能。高性价比的统一存储使用户能够整合不同类型的存储设备、提高利用率、简化存储管理,进而降低总体拥有成本,火星舱智能存储系统真正实现了硬件和管理上的整合,最好的平衡了性能、成本和易用性。

价值体现 火星舱数据存储设备具备出色、强大、易管理的功能,主要表现在以下方面: 1)新一代安全型盘阵 “火星舱”磁盘阵列是一款全方位安全型磁盘阵列,一方面在基础架构上采用安全的操作系统、多种RAID级别、全局热备、数据快照、远程镜像,保障存入盘阵的数据安全;另一方面在功能上实现CDP、NAS、VTL、数据备份,确保用户整个网络的数据安全。为数据的安全、可靠提供了坚实保证。 2)融入高端盘阵品质 采用SSD硬盘加速技术,能够支持高I/O密集型读写应用;提供数据快照技术,实现数据卷快照的回滚/拷贝,有效的提升了灾难恢复能力;内置远程镜像功能,一旦灾难发生时异地火星舱上的备份数据确保灾难恢复;重复数据删除技术可以提供更大的备份容量。高端盘阵显著地提高了“火星舱”磁盘阵列的内在价值。 3)先进的设计理念 火星舱采用软控制器,避免硬件带来的局限;采用支持丰富的RAID级别,保证数据安全性及完整性;采用SSD固态硬盘作为整个磁盘阵列的缓存,去除电池保护简化了磁盘阵列的内部构造;内置全局热备功能,防止硬盘故障数据的丢失。 4)多用途一体化设备

软件定义存储SDS精编版

软件定义存储S D S精 编版 MQS system office room 【MQS16H-TTMS2A-MQSS8Q8-MQSH16898】

软件定义存储SDS 摘要:软件定义存储,SoftwareDefinedStorage。出现背景:应对数据暴增,成本降低到普通机架式服务器硬盘的价位,兼容各种硬件的开放性,可在线横向扩展;哪些新的技术显着地改变了存储架构:SSD,SDS,CPU多核技术,高速网络,大容量服务器和磁盘,多副本存储方式。最近两、三年,在IT圈里,除了云计算、大数据、人工智能之外,最火的就属“软件定义”了,先是有软件定义网络 (SDN,SoftwareDefinedNetworking),继而有软件定义数据中心 (SDDC,SoftwareDefinedDataCenter)和软件定义存储 (SDS,SoftwareDefinedStorage)。转载自百度百家或微信公众号-?乐生活与爱IT。 1.为何出现软件定义存储? 为何出现软件定义存储? 人类各项发明、创新,大多都是为了更加的高效、方便、灵活,并且节省成本。例如,从种植业、畜牧业的出现,到蒸汽机的发明,到自来水、集中供电的出现,再到互联网的出现(信息传递更快更高效,更省成本),无一不是如此。 IT也不例外,以企业级存储为例,近10年来逐渐出现的自动分级、去重、压缩也是为了更高效地使用存储资源,更节省成本。而最近两三年,软件定义存储的出现,依然是为了这个需求。 伴随着需求,还有两大背景: 一是,随着个性化、物联网、万联网的发展,数据以前所未有的速度迅猛增长,数据的存放、管理、优化、利用成为难题,用户面临着如下挑战: 存储利用率低,数据僵化在某些硬件组件里,难以提供随需动态变化的服务等级,缺乏精确的控制,部署和调整存储资源需要经过复杂的流程(例如需要应用管理员与存储管理员等进行协调),自动化程度低,对请求的响应慢,……。 二是,虚拟化、云计算和硬件技术的发展,使得软件定义成为可能;在此之前,存储用户也希望更加高效、简单、灵活,且成本较低,但十年前,SSD和高速网络尚未出现或发展不够,分布式存储难以堪当重任;彼时虚拟化云计算还未出现或者尚未成熟,从存储中调用控制信息给前端应用或OS使用,去实现灵活敏捷的存储资源的部署,在那时还不是那么迫切。 随着虚拟化和云计算的普及,用户的思维方式也发生了转变,逐渐意识到,快速、敏捷、灵活地获取计算资源已经成为可能,并且逐渐要求能按需使用,按

相关主题