搜档网
当前位置:搜档网 › 当前网络存储中零拷贝技术浅析

当前网络存储中零拷贝技术浅析

当前网络存储中零拷贝技术浅析
当前网络存储中零拷贝技术浅析

-602-

1引言

网络存储技术迅猛发展要求有更高的带宽和更低的传输延时。硬件技术的发展使得人们更关注数据从主机或其它设备到网络接口的有效移动。消除通信数据在存储器之间不必要的中间拷贝过程,可以有效地提高通信效率。采用零拷贝技术可以减少数据拷贝次数,简化协议处理的层次,在应用和网络间提供更快的数据通路,从而有效地降低通信延迟,增加网络吞吐率[1]。

目前,零拷贝技术在Virtual Interface Architecture (VI )、In-finiband 等体系结构,以及EMC 、NetApp 等公司的网络存储产

品中都有着广泛的应用。NetApp 提出的新的文件系统DAFS 也以RDMA 为基础。

2网络存储中的数据传输

发送数据时NIC (网络接口卡,Network Interface Card )可

以直接从系统内存中取出数据打包发送,在这一过程中可以不考虑数据拷贝。接收数据时,NIC 往往不能直接将数据放入指定的用户空间,因此在从NIC 到系统空间,然后从系统空间到用户空间需要进行至少两次数据拷贝,同时还需要经历用户向系统发出的系统调用。图1给出了通常情况下NFS 文件系统中文件传输过程中产生的拷贝。

3零拷贝技术

零拷贝主要利用DMA 和内存映射技术,在数据报从网络

设备到用户程序空间传递的过程中,尽量减少数据拷贝次数,减少系统调用,消除CPU 的负载。

零拷贝技术首先利用DMA 技术将网络数据报直接传递到系统内核预先分配的地址空间中,避免CPU 的参与。同时,将系统内核中存储数据报的内存区域映射到检测程序的应用程序空间,或者在用户空间建立一块缓存,并将其映射到内核空间,检测程序直接对这块内存进行访问,从而减少了系统内核向用户空间的内存拷贝,同时减少系统调用的开销。

下面介绍4种常用的零拷贝技术。

收稿日期:2004-11-28。

作者简介:杨小虎(1974-),男,黑龙江大庆人,硕士生,研究方向为计算机应用;俞建新(1953-),男,副教授,研究方向为计算机应用和计算机体系结构。

当前网络存储中零拷贝技术浅析

杨小虎,俞建新

(南京大学计算机科学与技术系,江苏南京210093)

要:零拷贝技术能有效消除端系统中非必要的拷贝过程,大大提高网络吞吐率,降低网络存储中的通讯延迟,提高存储效率。介绍了几种网络存储中的零拷贝技术,特别是RDMA 技术,并对其特点进行了比较分析,展望了未来零拷贝技术的发展前景。

关键词:RDMA;零拷贝;网络存储;NIC 中图法分类号:TP39

文献标识码:A

文章编号:1000-7024(2006)04-0602-03

Analysis of current zero-copy technology in network storage

YANG Xiao-hu,

YU Jian-xin

(Department of Computer Science and Technology,Nanjing University,Nanjing 210093,China )

Abstract :Zero-copy technology can remove unnecessary copy process in end-system efficiently,improve network throughout and in-crease communication speed in network storage.In this way,zero-copy technology can improve storage efficacy.Several zero-copy technologies in network storage especially RDMA technology were introduced.And their characteristics by comparison were analyzed.Key words :RDMA;zero-copy;network storage;NIC

图1通常NFS 接收端文件在传输路径中的拷贝情况

以太网适配器

以太网驱动器

NIC

系统内核

用户空间

应用程序

I/O 库

VM/VFS 缓存

NFS

TCP/IP DMA

拷贝

拷贝

2006年2月计算机工程与设计

Feb.2006

第27卷第4期Vol.27

No.4

Computer Engineering and Design

-603-

3.1分散/集中缓存

NIC 将数据放入系统RAM 后,如果应用程序能够直接从

内存中取出所需数据,那么就能避免系统内核中不必要的数据拷贝过程。这一过程的关键在于应用程序必须对数据所在位置准确定位。数据在存储区域中经常是分散分布的,Scatter/Gather 使用数据结构SCATTER_GATHER_LIST ,存储一块物理连续的Scatter/Gather 区域的长度和物理首地址,NIC 或应用程序从首地址开始取得数据,并进行相应的操作,每完成一页自动取得下一页的物理地址。

另外,在DMA 操作中,使用映射注册时资源被锁死的情况经常出现,利用Scatter/Gather 可以通过资源不被锁死提高系统资源利用率。

分散/集中缓存技术不直接依赖于NIC ,但是它与当前存在的多数I/O 接口,如Sockets ,并不兼容,另外Scatter/Gather Buffers 在数据传输的安全性上也存在一些问题。要有效地应用Scatter/Gather Buffers ,必须对现有的文件系统协议,特别是文件缓冲区和虚拟内存的页面缓冲区进行修改。

3.2头/负载分离

对于高级的NIC ,能够识别出上层协议头,因此可以将协

议头与有效负载分开,然后将分离出来的数据放入单独的缓冲区中,VM 系统就可以将有效负载映射给应用程序。这种方法也叫“Page Flipping ”或者“Page Remapping ”,其前提条件是应用缓冲区必须在VM 中是线性分页大小对齐并连续排列的。为此在操作系统中需要有相应的机制加以保证,或者要求硬件有连续分页的功能。

协议头和负载可以利用特别的NIC 进行分离。这种NIC 能够认出协议头和有效数据。如果网络传输中MTU (最大传输单元,Maximum Transmission Unit )比硬件分页要小,传输的数据将会分散在多个包中,接收端在接收的时候数据包会出

现乱序,为了保证接受的数据能够是连续的,必须对NIC 进行进一步改进。

更通用的一种方法是在传输层或者传输层之上,通过在帧头部添加信息将控制命令和数据分离开来。这样不需要接收端NIC 对上层协议进行解码,对NIC 改动较小,接收端的NIC 可以利用帧头的标记区分出协议和有效数据,并将数据放入应用缓冲区的正确位置。

从图2中可以看出采用头/负载分离技术后,传输带宽和CPU 利用率都得到了很大的改善。

但是Page Remapping 有一个主要的缺点:Page Remapping 需要禁用快表(TLB ),而在多处理器共享存储中禁用快表代价昂贵。

3.3NIC 解析上层协议

NIC 解析ULP (上层协议,Upper Layer Protocol )的基本思

想是利用NIC 进行协议卸载,使CPU 不参与协议打包和解包,NIC 提取数据后直接将其放入应用缓存区,由于不进行包头处理,因此系统CPU 几乎不要求数据复制并且不需要计算校验和。利用这种技术,文件和备份服务器等网络数据流非常大的系统的总体系统性能将得到显著的提高。

网络存储中,光纤通道采用的就是这种方式:NIC 或者HBA (主机总线适配器,Host Bus Adapter )将以前由CPU 负责的iSCSI 内容打包,从而能够在网络存储中降低主机负荷,得到高性能的数据传输。

这种NIC 能够提高主机处理器的效率,增加数据吞吐量并降低了时延。但是相比前面的两种技术对NIC 的要求也更高,并且对于每一种ULPs 必须有对应的NIC 支持,缺乏通用型的NIC 限制了该技术只能用在专门的单一功能的网络传输中。

3.4RDMA (Remote Direct Memory Access )

RDMA 将DMA 技术由主机总线扩展到了IP 网络,在网

络传输过程中附加RDMA 控制信息,使附网存储设备能够直接存取远端的内存。远端NIC 解码控制信息,然后通过DMA 直接对主机内存进行操作。

图2

NFS 使用Header/Payload Separation 技术前后

的带宽(上)和CPU 使用率(下)比较[2

]

改进后

改进前

4

8

16

32

64

128

256512Block Size (KB )

100806040200

改进后

改进前

4

8

16

32

64

128

256512

Block

Size (KB )

1

0.90.80.70.60.50.40.30.20.1

-604-

RDMA 在整个传输I/O 栈中位于NFS 等ULP 之下,且独立于TCP/IP ,因此可以对大多数文件系统进行支持,而且不需要对原系统进行改动。

RDMA 提供了7种数据传输操作,分别是:Send 、Send with Invalidate 、Send with Solicited Event 、Send with Solicited Event and Invalidate 、RDMA Write 、RDMA Read 、Terminate 。除了读操作以外每种操作都产生一个RDMA Message 。

下面以RDMA Write 为例说明RDMA 操作在NFS 或iSCSI 等存储协议中的实现步骤:①客户调用I/O 接口,要求其结果放在指定Buffer A 中;②客户端在NIC 上注册Buffer A ;③向服务器发送I/O 读请求;④服务器发送一个或多个RDMA 写操作,将I/O 数据写入客户端Buffer A ;⑤服务器向文件系统发送I/O 操作的Read 响应。

完成上述步骤的关键是服务器必须知道将数据写入哪个客户机的Buffer 中,通常采用令牌传递的办法解决这个问题。在令牌中包含区域ID (RID )和偏移量,通过{RID ,偏移量}能够产生一个虚拟地址,接收端的NIC 利用一个表结构将虚拟地址转换成物理地址。如果地址在表内,那么NIC 就可以对这个地址进行存取。图3给出了RDMA 的工作原理。

数据在到达的过程中可能会出现乱序的情况,这时如何得到RDMA 控制信息就成为RDMA 传输过程中的关键。一种解决的办法是在接收端的NIC 进行缓存,将来到的数据包缓存直到下一个包到来,数据同时可以通过慢速通道传递给主机,直到NIC 接收到所有数据包并重新排序后再建立快速通道进行数据传输。当缓存区小于数据流时,有些数据包会丢失,这时NIC 会要求请求者重新发送。可以看出传递给主机的数据的速率由于NIC 缓存而降低了。另一种方法是在TCP 头中进行修改,即增强TCP 帧。使每个数据包都包含RDMA 控制信息,这样NIC 即使接受到乱序的数据包也没有关系,如果包中不包含RDMA 头则表明数据损坏,将不被处理而要求重发。

图4显示了RDMA 在协议栈中的位置,抽象化的RDMA 位于传输层以上,ULPs 之下,而实际上RDMA 在实现过程中主要由NIC 实现,因此位于连接层,所以RDMA 在逻辑上属于传输层,而物理上则属于连接层。

在RDMA 操作中,被注册的Buffer 必须不能被其它应用所使用,另外由于RDMA 操作会暴露内存区域,因此协议要保证内存不被非法访问,即只能由指定的操作者对指定的内存进行访问,这些都会带来安全上的问题。为了保证RDMA 操作的安全性,RDMA 在控制信息里加入一个密钥,只有操作双方知道应该进行怎样的操作;或者在NIC 上添加一个访问列表,只有授权用户才可以对内存进行访问。但是这两种方式并不能保证RDMA 的安全性,在实际的应用中,由于RDMA 独立于TCP/IP ,因此其安全性可以在底层实现,比如使用TLS 或者IPsec 等。

3.5综合比较

分散/集中缓存、协议头分离和NIC 协议卸载与RDMA 相

比,要么对传输数据格式有特殊的要求,要么与硬件和ULP 相关,例如Page Remapping 要求有虚拟内存页大小对齐的缓冲区,NIC 解析上层协议则针对每种协议对NIC 有不同的要求,因此虽然可以实现零拷贝,但是在可用性和可移植性上都存在着一定的问题。

RDMA 可以处理任意大小的MTU ,并对缓冲区边界没有要求,而且独立于ULP 和底层协议,与其它3种方法相比具有很高的通用性,可以用于任何操作系统和机器结构,并不必随之改变。

4结论

统计表明每增加一次拷贝,通信效率至少降低20%,因此减少拷贝能够给网络存储带来更高的带宽和更低的延迟。零拷贝技术通过建立用户级高速网络通信接口,大大地提高了网络传输速度和带宽,因此在NAS 、SAN 、基于IP 的存储等存储解决方案中都有着广阔的发展前景。

参考文献:

[1]可向民,李正虎,夏建东.零拷贝技术及其实现的研究[J ].计算机工程与科学,2000,22(5):17-24.

[2]

Kostas Magoutis,Salimah Addetia,Alexandra Fedorova.Struc-ture and performance of the direct access file system [C ].Califor-nia,USA:Proceedings of the 2002USENIX Annual Technical Conference Monterey,2002.10-15.[3]RDDP protocol [EB/OL ].https://www.sodocs.net/doc/312698919.html,/internet-drafts/drafts-ietf-rddp-rdma-01.txt.

[4]

Brustoloni J.Interoperation of copy avoidance in network and file I/O [C ].Proceedings of IEEE Infocom,1999.534-542.[5]

Chase J S,Gallatin A J,Yocum K G.End system optimizations for high-speed TCP [J ].IEEE Communications,Special Issue on TCP Performance in Future Networking Environments,2001,39(4):68-74.[6]

余胜生,初莹莹,周敬利,等.基于RDMA 协议的零拷贝技术研究[J ].计算机工程与应用,2004,(3):126-128.

图3RDMA 工作原理

Server

Client

RDMA 操作

CPU

支持

RDMA

的NIC

支持RDMA 的NIC

CPU

总线

注册的内存区域

总线注册的内存区域图4RDMA 协议栈

较高协议层(ULP )

RDMA TCP/IP 、UDP 较低协议层(LLP )

《网络存储技术》课程标准

网络存储技术》课程标准 《网络存储技术》 是高等职业院校计算机网络技术专业均开设的 一门专业技术课程, 是高职素质教育中的重要组成部分, 本课程注重 培养高职学生的计算机应用能力, 是操作性和实践性很强的课程。 通 过学习,使学生掌握必要的网络存储技术基础知识,具备调试技能, 提高网络存储各部件的组装、设置、日常维护、维修及管理系统安装 等使用技术能力,重点培养学生的综合处理能力。 2.设计思路 本课程以构建学生信息化基础核心能力、 为职业能力提供信息化 工具为出发点、打破传统的学科知识体系, 重构教学做一体式的课程, 以情境式案例为载体,逐步推进学生计算机基本能力的培养。 3.课程目标 通过本课程的学习, 使学生能够掌握网络存储和虚拟化技术的基 础知识。 通过实际项目及任务,典型案例分析与实战操作为手段,培养学 课程名称: 网络存储技术 课程类别:专业必修课 授课单位: 术专业 信息与软件工程系 适用专业:高职高专网络技 时: 40 学时 分:4 1. 写 人:盛建军 2014年 8 月 审 定 人:尹光辉 课程性质

生进行网络存储与虚拟化实现方案系统分析与实践实施的能力,实现高职院校学生的自主学习、工作以及完成综合任务的能力,对职业素质养成起非常重要的作用。 4.教学内容组织和编排 通过对企业调研,了解到企业中与信息化相关的职业岗位,结合工作实际,根据需要掌握的基本技能,形成8个学习案例和3个综合实训项目,针对网络技术专业学生设计选修内容。 《网络存储技术》学习案例及课时分配表

5.课程内容与教学要求 在教学过程中,教师根据每个案例中的典型任务给学生布置任务,明确要达到的能力目标,进行知识点的引导,通过学生自己对任务的实施和讨论,教师对任务的评价,强化训练学生的操作能力,沟通能力,团队协作能力。 课程案例与工作任务和知识点之间的对应关系: 任务 任务一:掌 握理论基 础知识

虚拟存储技术及其应用

虚拟存储技术及其应用 随着围绕数字化、网络化开展的各种多媒体处理业务的不断增加,存储系统网络平台已经成为一个核心平台,同时各种应用对平台的要求也越来越高,不光是在存储容量上,还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说,存储网络平台的综合性能的优劣,将直接影响到整个系统的正常运行。 为达到这些要求,一种新兴的技术正越来越受到大家的关注,即虚拟存储技术。 其实虚拟化技术并不是一件很新的技术,它的发展,应该说是随着计算机技术的发展而发展起来的,最早是始于70年代。由于当时的存储容量,特别是内存容量成本非常高、容量也很小,对于大型应用程序或多程序应用就受到了很大的限制。为了克服这样的限制,人们就采用了虚拟存储的技术,最典型的应用就是虚拟内存技术。随着计算机技术以及相关信息处理技术的不断发展,人们对存储的需求越来越大。这样的需求刺激了各种新技术的出现,比如磁盘性能越来越好、容量越来越大。但是在大量的大中型信息处理系统中,单个磁盘是不能满足需要,这样的情况下存储虚拟化技术就发展起来了。在这个发展过程中也由几个阶段和几种应用。首先是磁盘条带集(RAID,可带容错)技术,将多个物理磁盘通过一定的逻辑关系集合起来,成为一个大容量的虚拟磁盘。而随着数据量不断增加和对数据可用性要求的不断提高,又一种新的存储技术应运而生,那就是存储区域网络(SAN)技术。SAN的广域化则旨在将存储设备实现成为一种公用设施,任何人员、任何主机都可以随时随地获取各自想要的数据。目前讨论比较多的包括iSCSI、FC Over IP 等技术,由于一些相关的标准还没有最终确定,但是存储设备公用化、存储网络广域化是一个不可逆转的潮流。 一、虚拟存储的概念 所谓虚拟存储,就是把多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池(Storage Pool)中得到统一管理,从主机和工作站的角度,看到就不是多个硬盘,而是一个分区或者卷,就好象是一个超大容量(如1T以上)的硬盘。这种可以将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统,就称之为虚拟存储。 二、虚拟存储的分类 目前虚拟存储的发展尚无统一标准,从虚拟化存储的拓扑结构来讲主要有两种方式:即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。具体如下: 1.对称式虚拟存储 图1 图1对称式虚拟存储解决方案的示意图

网络存储技术试卷(有答案)教学文案

网络存储技术试卷(有 答案)

一、单项选择题 1、使用串行传输方式的硬盘接口不包括( ) A. SAS B. FC C. SATA D. SCSI 2、RAID6级别的RAID组的磁盘利用率(N:成员盘个数): ( ) A. N/(N-2) B. 100% C. (N-2)/N D. 1/2N 3、对于E-mail或者是DB应用,以下哪个RAID级别是不被推荐的 : ( ) A. RAID10 B. RAID6 C. RAID5 D. RAID0 4、磁盘阵列中映射给主机使用的通用存储空间单元被称为( ),它是在RAID 的基础上创建的逻辑空间。 A. LUN B. RAID C. 硬盘 D. 磁盘阵列 5、下列RAID技术无法提高读写性能的是:( ) A. RAID0 B. RAID1 C. RAID3 D. RAID5 6、下列RAID技术中可以允许两块硬盘同时出现故障而仍然保证数据有效的是:( ) A. RAID3 B. RAID4 C. RAID5 D. RAID6 7、下列RAID技术中无法提高可靠性的是() A. RAID0 B. RAID1 C. RAID10 D. RAID01 8、主机访问存储路径顺序为( ) A. 文件系统->应用系统->卷->I/O子系统->RAID控制器->磁盘 B. 应用系统->文件系统->卷->I/O子系统->RAID控制器->磁盘 C. 应用系统->文件系统->I/O子系统->卷->RAID控制器->磁盘 D. 应用系统->文件系统->卷->RAID控制器->I/O子系统->磁盘 9、下列RAID技术中,磁盘空间利用率最低的是( ) A. RAID1 B. RAID3 C. RAID0 D. RAID05

存储系统主流技术比较分析

存储系统主流技术比较分析 信息技术系统现已进入以数据为中心的时代,随着存储技术的不断发展和完善,企业的技术基础架构正在从以前复杂的以服务器为中心的IT 架构逐渐向以数据存储为中心的方向演变。 我公司目前技术系统已初步建成以SAN 存储(主要为EMC 的 Symmetrix DMX )为核心,NAS (主要为NetAPP 的FAS3170)存储为补充的多层次的存储系统架构。下面将从存储系统架构、磁盘技术、存储管理和云存储等几个方面分析存储技术在我公司技术系统的应用和发展方向。 一、 存储系统架构 存储系统架构的发展由内臵存储进化为独立的外臵存储,再由直连式存储发展为网络式存储,由功能单一的SAN 存储网络发展为统一多功能存储,目前SAN 架构与IP 网络也有逐渐融合的趋势。 发展过程如下图所示: 1.1、 内臵存储与外臵存储 传统的内臵存储是将存储设备(通常是磁盘)与服务器其他硬件直接安装于同一个机箱之内,且该存储设备是为服务器所独占使用。 外臵存储既是将存储设备从服务器中独立出来,根据与服务器物理连接的方式可分为:直连式存储(Direct-Attached Storage ,简称DAS )和网络化存储(Fabric-Attached Storage ,简称FAS );网络化存储根据传输协议又分为:网络接入存储(Network-Attached Storage ,简称NAS )和存储区域网络(Storage Area Network ,简称SAN )。 1.2、直连式存储(Direct-Attached Storage ,DAS ) 直连式存储必须依赖服务器主机操作系统进行数据的IO 读写和存储维护管理,所以数据备份和恢复必然占用服务器主机资源(包括CPU 、系统IO 等),直 内臵存储 外臵存储 Direct-Attached Storage 直接式存储(DAS ) Fabric-Attached Storage 网络存储(FAS ) Network-Attached Storage 网络接入存储(NAS ) Storage Area Network 存储区域网络(SAN )

Linux 中的零拷贝技术,第 2 部分

Linux 中的直接I/O 如果应用程序可以直接访问网络接口存储,那么在应用程序访问数据之前存储总线就不需要被遍历,数据传输所引起的开销将会是最小的。应用程序或者运行在用户模式下的库函数可以直接访问硬件设备的存储,操作系统内核除了进行必要的虚拟存储配置工作之外,不参与数据传输过程中的其它任何事情。直接I/O 使得数据可以直接在应用程序和外围设备之间进行传输,完全不需要操作系统内核页缓存的支持。关于直接I/O 技术的具体实现细节可以参看developerWorks 上的另一篇文章”Linux 中直接I/O 机制的介绍” ,本文不做过多描述。 图 1. 使用直接I/O 的数据传输 针对数据传输不需要经过应用程序地址空间的零拷贝技术 利用mmap() 在Linux 中,减少拷贝次数的一种方法是调用mmap() 来代替调用read,比如: 首先,应用程序调用了mmap() 之后,数据会先通过DMA 拷贝到操作系统内核的缓冲区中去。接着,应用程序跟操作系统共享这个缓冲区,这样,操作系统内核和应用程序存储空间就不需要再进行任何的数据拷贝操作。应用程序调用了write() 之后,操作系统内核将数据从原来的内核缓冲区中拷贝到与socket 相关

的内核缓冲区中。接下来,数据从内核socket 缓冲区拷贝到协议引擎中去,这是第三次数据拷贝操作。 图 2. 利用mmap() 代替read() 通过使用mmap() 来代替read(), 已经可以减半操作系统需要进行数据拷贝的 次数。当大量数据需要传输的时候,这样做就会有一个比较好的效率。但是,这种改进也是需要代价的,使用mma()p 其实是存在潜在的问题的。当对文件进 行了内存映射,然后调用write() 系统调用,如果此时其他的进程截断了这个文件,那么write() 系统调用将会被总线错误信号SIGBUS 中断,因为此时正在 执行的是一个错误的存储访问。这个信号将会导致进程被杀死,解决这个问题可以通过以下这两种方法: 1.为SIGBUS 安装一个新的信号处理器,这样,write() 系统调用在它被中 断之前就返回已经写入的字节数目,errno 会被设置成success。但是这 种方法也有其缺点,它不能反映出产生这个问题的根源所在,因为 BIGBUS 信号只是显示某进程发生了一些很严重的错误。 2.第二种方法是通过文件租借锁来解决这个问题的,这种方法相对来说更好 一些。我们可以通过内核对文件加读或者写的租借锁,当另外一个进程尝 试对用户正在进行传输的文件进行截断的时候,内核会发送给用户一个实 时信号:RT_SIGNAL_LEASE 信号,这个信号会告诉用户内核破坏了用 户加在那个文件上的写或者读租借锁,那么write() 系统调用则会被中断,并且进程会被SIGBUS 信号杀死,返回值则是中断前写的字节数,errno 也会被设置为success。文件租借锁需要在对文件进行内存映射之前设置。

几种常见网络存储技术的比较(精)

几种常见网络存储技术的比较 一、直接附加存储(DAS 是指将存储设备直接连接服务器上使用。成本低,配置简单,和使用本机硬盘并无太大差别。DAS问题:(1服务器容易成为系统瓶颈;(2服务器发生故障,数据不可访问;(3对于存在多个服务器的系统来说,设备分散,不便管理。(4数据备份操作复杂。 二、网络附加存储(NAS NAS是一种带有瘦服务器的存储设备。NAS设备直接连接到TCP/IP网络上,网络服务器通过TCP/IP网络存取管理数据。由于NAS只需要在一个磁盘阵列柜外增加一套瘦服务器系统,对硬件要求很低,成本不高。NAS 主要问题是:(1由于存储数据通过普通数据网络传输,因此易受流量的影响。(2由于存储数据通过普通数据网络传输,因此容易产生数据泄漏等安全问题;(3存储只能以文件方式访问,而不能像普通文件系统一样直接访问物理数据块,因此会在某些情况下严重影响系统效率,比如大型数据库就不能使用NAS。 NAS(Network Attached Storage:网络附属存储是将分布独立的数据整合为数据中心,以便于访问的技术,也称为“网络存储器”。以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低成本。其成本远低于使用服务器存储,而效率却远远高于后者。NAS的存储以文件为单位,一般支持CIFS / HTTP / FTP等方式的访问。 NAS:NAS从结构上讲就是一台精简型的电脑,在架构上不像个人电脑那么复杂,在外观上就像家电产品,只需电源与简单的控制钮,。一般只具有网络接口。也有部分NAS产品需要与SAN产品连接,可能会有FC接口。NAS产品一般用系统软件。一个NAS系统包括处理器,文件服务管理模块和多个硬盘驱动器(用于数据的存储。NAS 可以应用在任何的网络环境当中。主服务器和客户端可以非常方便地

浅析计算机网络存储技术

浅析计算机网络存储技术 发表时间:2018-05-25T14:16:41.707Z 来源:《基层建设》2018年第8期作者:郭雅楠 [导读] 摘要:随着我国社会的进步,计算机技术得到了快速的发展。 齐齐哈尔工程学院黑龙江齐齐哈尔 161000 摘要:随着我国社会的进步,计算机技术得到了快速的发展。在计算机应用的过程中,网络存储技术发挥着重要的作用。本文针对我国目前应用的计算机网络存储技术进行分析和介绍,同时对网络存储技术前景进行分析。 关键词:计算机;网络;存储技术 随着社会的不断发展,计算机技术得到了快速发展,计算机己经应用到人们生活的各个领域之中,给人们提供快捷方便的技术。计算机网络存储技术在对数据的存储上发挥着极为重要的作用,网络数据成为人们生活中必不可少的组成成分,因此,数据存储己经成为了我国计算机网络的发展核心。 1.主要计算机网络存储技术 事实上,我国计算机网络存储技术得到了社会的广泛重视,这也就大大推动了计算机网络存储技术的发展。现有的计算机网络存储技术包括几种不同的方法,这些方法是根据不同数据的特性进行设计的,这就需要工作人员进行合理的选择。 1.1存储虚拟化技术 存储虚拟化技术主要是为了存储硬件资源的办法,是一种虚拟化方法的集合,事实上,存储虚拟化技术不仅仅涵盖了存储虚拟池化、逻辑分区、自动精简配置以及集群网络存储等多个储存技术。这种虚拟化存储方式有效的对不同的实际存储需求进行了分析,给用户带来高级别的服务,保证了整个系统的资源利用的最大化发展。其中主要包括对称化和非对称化两种方式。存储虚拟化技术可以令网络存储系统中网络实现分散、独立。增强了整个系统的整体可靠性也加大了资源的扩展性。这种方式有助于提高核心业务的竞争能力,这主要是由 于存储虚拟化技术在存储过程中能够保证其高稳定高安全的特点,存储虚拟化技术性能较高,可以有效的保证正常工作的进行,给企业带来更强的竞争力。虚拟化存储技术打破了传统的存储模式,有效的将内存和外存有机的进行结合。即利用了物理设备的优势,又打破了传统物理设备的局限性,真正实现了高效,高性能。 1.2 NAS网关技术 NAS网关技术中,通常存储设备都是通过光纤通道进行彼此的连接,这也就使得SAN上连接的多个存储资源都能够通过网关进行访问和管理。NAS网关技术可以对客户机采用文件的方式进行管理,同时可以对客户机的请求进行及时的处理,这种处理需要建立在共享协议的基础上进行。客户机的请求传到网关处,网关将该请求转化为向存储阵列发出块数据请求,当存储阵列对块数据进行处理后再将结果传递到网关处,由网关将这些数据转化为文件数据发送给客户机。这一过程保证了透明性,整个系统因此显得灵活,更加的具有伸缩性。 2.计算机网络存储的意义 在现代社会中,无论是企业用户还是个人用户,对信息数据的存储都表现出了高度的重视,信息数据的存储失误不仅会导致用户的敏感信息丢失,甚至还会造成巨大的经济损失,严重地甚至会导致用户的个人信息系统停顿。然而在现实中,因为受到各种因素的影响,一些意外事故难免会发生,比如停电、盗窃、存储介质意外损坏等等,如果用户未能提前对相关信息进行备份,那么就会给用户造成巨大的损失。反之,如果用户及时对相关数据进行了备份存储,那么就能在很大程度上降低潜在损失,同时提升其工作效率。由此可见,企业和个人用户对先进存储技术的需求是非常迫切的,特别是对企业用户来说,建立一套安全、稳定、可靠的网络信息存储系统尤为重要。计算机网络存储技术不仅可以实现对用户信息的管理,而且还能预防一些突发意外事故,对保障用户的信息安全具有极其重要的现实意义,需要引起高度的重视。 3.常用的计算机网络存储技术 3.1云存储技术 云,作为近几年新型的技术,己经受到了社会各界的广泛关注。云技术的发展己经成为了社会发展的主流趋势。云储存也就是将云计算结合存储技术,进而保证存储工作的高效进行,是一种全新的运营模式,大大提高了我国存储技术的强度,提高了服务器的工作效率。云存储主要包括公共云存储、内部云存储、混合云存储三大类。应用相对独立,对数据具有很强的保密性。保证了协调工作,提供了很强的数据访问的性能,具有很强的实用性和实用价值,这就需要得到进一步的研究和开发。云存储技术是一种集群技术同时也是存储虚拟化技术,云存储技术利用存储虚拟化技术有效的实现了对数据的统一管理和调配工作。 3.2直接连接存储 直接连接存储是一种依靠SCSI接口或网络传输通道来实现存储介质和服务器相连的技术。在DAS中,存储介质就只是单纯地负责数据存储的物理设备,并不具备相应的操作管理系统。所有信息的相关存储操作都需要通过CPU中的I/O来实现。DAS从诞生之日到现在已经经过了40年,它在特定时期内有效地解决了信息数据的网络存储难题,但随着形势的改变,它面临的挑战和压力也越来越大,不仅面临着服务器负担过重的问题,而且扩展性也较低,难以实现对信息数据的科学有效管理。 3.3存储区域网 在SAN中,服务器和存储设备可以相互独立运行。同时,SAN还提供了一个基于光通道的存储网络,这个网络具有较高的可靠性,而且其存储容量也可以根据需求加以扩展,从而使得信息数据的统一集中管理变得更加简便。此外,由于光纤接口能够提供10km的连接长度,从而使得远距离存储也变得更加容易。当利用SAN进行网络信息存储时,可以借助专门的网络来对存储设备和服务器的连接进行操作,这就从根本上消除了外在不利因素的干扰,从而使得信息数据的存储更加安全、可靠。目前在很多大型企业中,SAN都成为了主要的信息存储手段,实用性极高。 3.4 SSD技术 SSD技术也成为固态盘技术,是一种主要的发展趋向。这主要是由于固态盘主要采用固态的电子存储芯片对存储数据进行管理,固态盘主要包括控制单元和存储单元。事实上固态盘的使用方式和功能特点与普通的硬盘差距并不大,这也就降低了使用的难度,适合人们日常生活的使用工作,同时固态盘本身具有高速、低耗的特点,同时固态盘在运行的过程中没有噪音污染,高质,重量轻,是硬盘的首

网络存储技术的分类

目前的网络存储技术大致分为三类:? 1、直接依附存储技术(direct attached storage, das) das又称为以服务器为中心的存储体系,如图一所示。其特征为存储设备为通用服务器的一部分,该服务器同时提供应用程序的运行,即数据访问与操作系统、文件系统和服务程序紧密相关。当用户数量增加或服务器正在提供服务时,其响应速度会变慢。在网络带宽足够的情况下,服务器本身成为数据输入输出的瓶颈。现在已渐渐不能满足用户的需求,不再为大家所采用。 2、网络依附存储技术(network attached storage, nas) nas的结构是以网络为中心,面向文件服务的。在这种存储系统中,应用和数据存储部分不在同一服务器上,即有专用的应用服务器和专用的数据服务器。其中专用数据服务器不再承担应用服务,称之为"瘦服务器"(thin server)。

数据服务器通过局域网的接口与应用服务器连接,应用服务器将数据服务器视做网络文件系统,通过标准lan进行访问。由于采用局域网上通用数据传输协议,如nfs、cifs等,所以nas能够在异构的服务器之间共享数据,如windows nt 和unix混合系统。nas系统的关键是文件服务器,一个经过优化的专用文件服务和存储服务的服务器是文件系统所在地和nas设备的控制中心,该服务器一般可以支持多个i/o节点和网络接口,每个i/o节点都有自己的存储设备。 3、存储区域网络(storage area network, san) san是一种以光纤通道(fiber channel, fc)实现服务器和存储设备之间通讯的网络结构,如图三所示。san的核心是fc,其中的服务器和存储系统各自独立,地位平等,通过高带宽(传输速率为800mb/s,双全工时可达1.6gb/ s)f c集线器或fc交换机相连,可避免大流量数据传输时发生阻塞和冲突。各应用工作站通过局域网访问服务器,在各存储设备之间交换数据时可以不通过服务器,这样就大大减轻了服务器承受的压力。 ——nas与san的比较 nas、san与传统网络存储技术相比而言,无论是从网络传输带宽、数据共享性还是从存储容量的可扩充性、数据的一体化和安全性等个方面来说,其优越性是不言而喻的。所以,现在众多的用户在对其存储方案进行选择时,实际上也就成为对nas和san的选择了。 nas和san有许多共同的特点。它们都提供集中化的数据存储和整合优化,都能有效的存取文件,都允许在众多的主机间共享并支持多种操作系统,都允许从应用服务器上分离存储。而且,它们都提供数据的高可用性,都能通过冗余部件和raid保证数据的完整性。 nas和san也有着一些不同点。首先,实施和维护的难易程度不同。上面曾提到,nas的存储设备与众多访问客户的连接是通过标准的lan进行的,也就是

四种常见的网络存储技术比较及区别

四种常见的网络存储技术比较及区别 目前高端服务器使用的专业网络存储技术大概分为四种,有DAS、NAS、SAN、iscsl,它们可以使用RAID阵列提供高效的安全存储空间。 一、直接附加存储(DAS) 直接附加存储是指将存储设备通过SCSI接口直接连接到一台服务器上使用。DAS购置成本低,配置简单,使用过程和使用本机硬盘并无太大差别,对于服务器的要求仅仅是一个外接的SCSI口,因此对于小型企业很有吸引力。但是DAS也存在诸多问题:(1)服务器本身容易成为系统瓶颈;(2)服务器发生故障,数据不可访问;(3)对于存在多个服务器的系统来说,设备分散,不便管理。同时多台服务器使用DAS时,存储空间不能在服务器之间动态分配,可能造成相当的资源浪费;(4)数据备份操作复杂。 二、网络附加存储(NAS) NAS实际是一种带有瘦服务器的存储设备。这个瘦服务器实际是一台网络文件服务器。NAS设备直接连接到TCP/IP网络上,网络服务器通过TCP/IP网络存取管理数据。NAS作为一种瘦服务器系统,易于安装和部署,管理使用也很方便。同时由于可以允许客户机不通过服务器直接在NAS中存取数据,因此对服务器来说可以减少系统开销。NAS为异构平台使用统一存储系统提供了解决方案。由于NAS只需要在一个基本的磁盘阵列柜外增加一套瘦服务器系统,对硬件要求很低,软件成本也不高,甚至可以使用免费的LINUX解决方案,成本只比直接附加存储略高。NAS存在的主要问题是:(1)由于存储数据通过普通数据网络传输,因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能;(2)由于存储数据通过普通数据网络传输,因此容易产生数据泄漏等安全问题;(3)存储只能以文件方式访问,而不能像普通文件系统一样直接访问物理数据块,因此会在某些情况下严重影响系统效率,比如大型数据库就不能使用NAS. 三、存储区域网(SAN) SAN实际是一种专门为存储建立的独立于TCP/IP网络之外的专用网络。目前一般的SAN 提供2Gb/S到4Gb/S的传输数率,同时SAN网络独立于数据网络存在,因此存取速度很快,另外SAN一般采用高端的RAID阵列,使SAN的性能在几种专业网络存储技术中傲视群雄。SAN由于其基础是一个专用网络,因此扩展性很强,不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的服务器都非常方便。通过SAN接口的磁带机,SAN系统可以方便高效的实现数据的集中备份。SAN作为一种新兴的存储方式,是未来存储技术的发展方向,但是,它也存在一些缺点:(1)价格昂贵。不论是SAN阵列柜还是SAN必须的光纤通道交换机价格都是十分昂贵的,就连服务器上使用的光通道卡的价格也是不容易被小型商业企业所接受的;(2)需要单独建立光纤网络,异地扩展比较困难;

关于现代网络存储技术性能的比较分析

关于现代网络存储技术性能的比较分析学院:计算机与通信工程学院

网络存储技术就是将“存储”与“网络”结合起来,通过网络连接各存储设备,似的存储设备与存储设备之间,存储设备与服务器之间的数据在网络间的高性能传输。 接下来主要分析以下三种主流的网络存储技术DAS,NAS,SAN,并对这些技术进行比较。 DAS是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上。DAS的适用环境: (1)服务器在地理分布上很分散,通过SAN或NAS在它们之间进行互连非常困难时(商店或银行的分支便是一个典型的例子); (2)存储系统必须被直接连接到应用服务器(如Microsoft Cluster Server或某些数据库使用的“原始分区”)上时; (3)包括许多数据库应用和应用服务器在内的应用,它们需要直接连接到存储器上,群件应用和一些邮件服务也包括在内。 当服务器在地理上比较分散,很难通过远程连接进行互连时,直接连接存储是比较好的解决方案,甚至可能是唯一的解决方案。利用直接连接存储的另一个原因也可能是企业决定继续保留已有的传输速率并不很高的网络系统。 DAS的局限: 无论直连式存储还是服务器主机的扩展,从一台服务器扩展为多台服务器组成的群集(Cluster),或存储阵列容量的扩展,都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业7×24小时服务的关键业务系统,这是不可接受的。并且直连式存储或服务器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。 NAS(Network Attached Storage)—网络连接存储,即将存储设备通过标准的网络拓扑结构(例如以太网),连接到一群计算机上。NAS是部件级的存储方法,它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。需要共享大型CAD文档的工程小组就是典型的例子。 NAS的优点: 1.NAS产品是真正即插即用的产品 2. NAS设备的物理位置同样是灵活的 NAS的局限: NAS没有解决与文件服务器相关的一个关键性问题,即备份过程中的带宽消耗。与将备份数据流从LAN中转移出去的存储区域网(SAN)不同,NAS仍使用网络进行备份和恢复。NAS 的一个缺点是它将存储事务由并行SCSI连接转移到了网络上。这就是说LAN除了必须处理正常的最终用户传输流外,还必须处理包括备份操作的存储磁盘请求。 SAN(Storage Area Network)存储区域网络,是一种高速的、专门用于存储操作的网络,通常独立于计算机局域网(LAN)。SAN将主机(管理server,业务server等)和存储设备连接在一起,能够为其上的任意一台主机和任意一台存储设备提供专用的通信通道。SAN

存储设备的三种类型

1常见存储类型 对于企业存储设备而言,根据其实现方式主要划分为DAS、SAN和NAS三种,分别针对不同的应用环境,提供了不同解决方案。(区别见图2) 图1三种存储技术比较 1.1DAS DAS(DirectAttachSTorage):是直接连接于主机服务器的一种储存方式,每一台主机服务器有独立的储存设备,每台主机服务器的储存设备无法互通,需要跨主机存取资料时,必须经过相对复杂的设定,若主机服务器分属不同的操作系统,要存取彼此的资料,更是复杂,有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大,性能要求不高的环境下,可以说是一种应用较为早的技术实现。 1.2SAN SAN(StorageAreaNetwork):是一种用高速(光纤)网络联接专业主机服务器的一种储存方式,此系统会位于主机群的后端,它使用高速I/O联结方式,如SCSI,ESCON及 Fibre-Channels。一般而言,SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中,特点是代价高,性能好。例如电信、银行的大数据量关键应用。 1.3NAS NAS(NetworkAttachedStorage):是一套网络储存设备,通常是直接连在网络上并提供资料存取服务,一套NAS储存设备就如同一个提供数据文件服务的系统,特点是性价比高。例如教育、政府、企业等数据存储应用。 2三种技术比较 以下,通过表格的方式对于三种存储技术进行一个简单的比较。 表格1三种技术的比较 录像存储 录像存储是指将监控图像录制下来,并以文件形式存储在存储设备中,并可在以后随时被读出回放。 存储的实现有多种模式,包括DAS(直连存储)、SAN(存储区域网)和NAS(网络就是普通计算机系统最常用的存储方式,即将存储介质(硬盘)直接挂接DAS存储)等。. 在CPU的直接访问总线上,优点是访问效率高,缺点是占用系统总线资源、挂接数量有限,一般适用于低端PC系统。SAN是将存储和传统的计算机系统分开,系统对存储的访问通过专用的存储网络来访问,对存储的管理可交付与存储网络来管理,优点是高效的存储管理、存储升级容易,而缺点则是系统较大,成本过高,适用于高端设备。NAS则充分利用系统原有的网络接口,对存储的访问是通过通用网络接口,访问通过高层接口实现,同时设备可专注与存储的管理,优点是系统简单、兼容现有系统、扩容方便,缺点则是效率相对比较低。 典型的传统数字硬盘录像机设备一般都采用DAS方式,即自身包含若干硬盘,录像数据进行压缩编码后直接存储在本地硬盘中,回放也从本地硬盘中读出。网络功能只是个附加的功能,主要面向远程终端实时监控本地图像和回放本地录像。在系统比较大时,这种方式必然是分布式存储的,给系统管理带来了麻烦。数字硬盘录像机的发展将使网络成为中心,而规模的增大使得分布式存储的缺点更加显着。采用NAS作为录像的存储设备,解决了传统数字硬盘录像机所限制的这些问题,作为下一代数字录像系统,其优势表现在: a优良的设备环境:由于硬盘的不稳定性,需要一个更好的工作环境来延长硬盘的寿命和减少存储的不可用时间。NAS作为专业的存储设备,针对多硬盘环境作了优化设计,让硬盘工作的更稳定、更可靠。

java程序员面试大纲错过了金三银四你还要错过2018吗

Java 程序员面试大纲—错过了金三银四,你还要错过2018 吗? 跳槽时时刻刻都在发生,但是我建议大家跳槽之前,先 想清楚为什么要跳槽。切不可跟风,看到同事一个个都走了,自己也盲目的开始面试起来(期间也没有准备充分),到底是因为技术原因(影响自己的发展,偏移自己规划的轨迹)还是钱给少了,不受重视。准备不充分的面试,完全是浪费时间,更是对自己的不负责(如果title 很高,当我没说)。 今天给大家分享下chenssy 在这次跳槽中整理的Java 面试大纲,其中大部分都是面试过程中的面试题,可以对照这查漏补缺,当然了,这里所列的肯定不可能覆盖全部方式。项目介绍大部分情况,这是一场面试的开门题,面试官问这个问题,主要是考察你的概述能力和全局视野。有的人经常抱怨自己每天在堆业务,但没有成长。事实上,很多情况下确实在堆业务,但并不是没有成长的。并非做中间件或者技术架构才是成长,例如我们的需求分析能力,沟通协作能力,产品思维能力,抽象建模能力等都是一个非常重要的硬实力好的,现在进入正文。1、明确项目是做什么的2、明确项目 的价值。(为什么做这个项目,它解决了用户什么痛点,它带来什么价值?)3、明确项目的功能。(这个项目涉及哪些功能?)4、明确项目的技术。(这个项目用到哪些技术?)

角色?) 6 、明确项目的整体架构。 7、明确项目的优缺点 , 如果重新设计你会如何设计。 8、明确项目的亮点。 (这个项 目有什么亮点?) 9、明确技术成长。 (你通过这个项目有哪 些技术成长?) Java 基础 1、List 和 Set 的区别 2 、HashSet 是如何保证不重复的 3、 HashMap 是线程安全的吗,为什 么不是线程安全的 (最好画图说明多线程环境下不安全) ?4 、 HashMap 的扩容过程 5、HashMap 1.7 与 1.8 的 区别, 说明 1.8 做了哪些优化,如何优化的? 6、 final finally finalize7 、强引用 、软引用、 弱引用、虚引用 8、 Java 反 射 9 、 Arrays.sort 实现原理和 Collection 实现原理 10 、 LinkedHashMap 的应用 11 、cloneable 接口实现原理 12、 异常分类以及处理机制 13 、wait 和 sleep 的区别 14、数组 在内存中如何分配 Java 并发 1 、synchronized 以及锁优化? 2 、volatile 的实现原理? 3、Java 4、 synchronized 在静态方法和普通方法的区 别? 5、明确个人在项目中的位置和作用。 你在这个项目的承担 的实现原理 的信号灯? 5、怎么 实现所有线程在等待某个事件的发生才会去执行? 6、CAS ? CAS 有什么缺陷, 如何解决? 7、synchronized 和 lock 有 什么区别? 8、Hashtable 是怎么加锁的 ? 9、HashMap 的 并发问题? 10 、ConcurrenHashMap 介绍? 1.8 中为什么要 用红黑树? 11 、AQS12 、如何检测死锁?怎么预防死锁? 13、

四种常见的网络存储技术对比分析

四种常见的网络存储技术对比分析 随着计算机网络技术的飞速发展,各种网络服务器对存储的需求随之发展,但由于商业企业规模不同,对网络存储的需求也应有所不同,选择不当的网络存储技术,往往会使得企业在网络建设中盲目投资不需要的设备,或者造成企业的网络性能低下,影响企业信息化发展,因此商业企业如何选择和使用适当的专业存储方式是非常重要的。 目前高端服务器所使用的专业存储方案有DAS、NAS、SAN、iscsl几种,通过这几种专业的存储方案使用RAID阵列提供的高效安全的存储空间。 一、直接附加存储(DAS)直接附加存储是指将存储设备通过SCSI接口直接连接到一台服务器上使用。DAS购置成本低,配置简单,使用过程和使用本机硬盘并无太大差别,对于服务器的要求仅仅是一个外接的SCSI口,因此对于小型企业很有吸引力。但是DAS也存在诸多问题:(1)服务器本身容易成为系统瓶颈;(2)服务器发生故障,数据不可访问;(3)对于存在多个服务器的系统来说,设备分散,不便管理。同时多台服务器使用DAS 时,存储空间不能在服务器之间动态分配,可能造成相当的资源浪费;(4)数据备份操作复杂。 二、网络附加存储(NAS)NAS实际是一种带有瘦服务器的存储设备。这个瘦服务器实际是一台网络文件服务器。NAS设备直接连接到TCP/IP网络上,网络服务器通过TCP/IP 网络存取管理数据。NAS作为一种瘦服务器系统,易于安装和部署,管理使用也很方便。同时由于可以允许客户机不通过服务器直接在NAS中存取数据,因此对服务器来说可以减少系统开销。NAS为异构平台使用统一存储系统提供了解决方案。由于NAS只需要在一个基本的磁盘阵列柜外增加一套瘦服务器系统,对硬件要求很低,软件成本也不高,甚至可以使用免费的LINUX解决方案,成本只比直接附加存储略高。NAS存在的主要问题是:(1)由于存储数据通过普通数据网络传输,因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能;(2)由于存储数据通过普通数据网络传输,因此容易产生数据泄漏等安全问题;(3)存储只能以文件方式访问,而不能像普通文件系统一样直接访问物理数据块,因此会在某些情况下严重影响系统效率,比如大型数据库就

存储类型分类资料

常见存储类型 对于企业存储设备而言,根据其实现方式主要划分为DAS、SAN和NAS三种,分别针对不同的应用环境,提供了不同解决方案。(区别见图2) 图1三种存储技术比较 DAS DAS(Direct Attach Storage):是直接连接于主机服务器的一种储存方式,每一台主机服务器有独立的储存设备,每台主机服务器的储存设备无法互通,需要跨主机存取资料时,必须经过相对复杂的设定,若主机服务器分属不同的操作系统,要存取彼此的资料,更是复杂,有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大,性能要求不高的环境下,可以说是一种应用较为早的技术实现。 SAN SAN(Storage Area Network):是一种用高速(光纤)网络联接专业主机服务器的一种储存方式,此系统会位于主机群的后端,它使用高速I/O 联结方式, 如SCSI, ESCON 及 Fibre- Channels。一般而言,SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中,特点是代价高,性能好。例如电信、银行的大数据量关键应用。

NAS NAS(Network Attached Storage):是一套网络储存设备,通常是直接连在网络上并提供资料存取服务,一套 NAS 储存设备就如同一个提供数据文件服务的系统,特点是性价比高。例如教育、政府、企业等数据存储应用。 三种技术比较 以下,通过表格的方式对于三种存储技术进行一个简单的比较。

表格 1 三种技术的比较 录像存储 录像存储是指将监控图像录制下来,并以文件形式存储在存储设备中,并可在以后随时被读出回放。 存储的实现有多种模式,包括DAS(直连存储)、SAN(存储区域网)和NAS(网络存储)等。DAS就是普通计算机系统最常用的存储方式,即将存储介质(硬盘)直接挂接在CPU的直接访问总线上,优点是访问效率高,缺点是占用系统总线资源、挂接数量有限,一般适用于低端PC系统。SAN是将存储和传统的计算机系统分开,系统对存储的访问通过专用的存储网络来访问,对存储的管理可交付与存储网络来管理,优点是高效的存储管理、存储升级容易,而缺点则是系统较大,成本过高,适用于高端设备。NAS则充分利用系统原有的网络接口,对存储的访问是通过通用网络接口,访问通过高层接口实现,同时设备可专注与存储的管理,优点是系统简单、兼容现有系统、扩容方便,缺点则是效率相对比较低。 典型的传统数字硬盘录像机设备一般都采用DAS方式,即自身包含若干硬盘,录像数据进行压缩编码后直接存储在本地硬盘中,回放也从本地硬盘中读出。网络功能只是个附加的功能,主要面向远程终端实时监控本地图像和回放本地录像。在系统比较大时,这种方式必然是分布式存储的,给系统管理带来了麻烦。数字硬盘录像机的发展将使网络成为中心,而规模的增大使得分布式存储的缺点更加显著。采用NAS作为录像的存储设备,解决了传统数字硬盘录像机所限制的这些问题,作为下一代数字录像系统,其优势表现在: ●优良的设备环境:由于硬盘的不稳定性,需要一个更好的工作环境来延 长硬盘的寿命和减少存储的不可用时间。NAS作为专业的存储设备,针 对多硬盘环境作了优化设计,让硬盘工作的更稳定、更可靠。 ●专业的存储管理:有效的存储管理在数据量上升时更加显得重要,数据 的安全性与冗余性将更受关注。NAS通过专业软件对大容量存储进行管 理,增加安全机制及冗余管理,使得存放的数据更便捷、更放心。 ●轻松的容量扩张:对容量的需求日益增加的今日,更加看重存储容量的 可扩张性。NAS的容量扩张基本上是Plug&Play的模式,方便用户升级。

零拷贝技术及其运用

零拷贝技术及其运用 Zero-Copy Technique and its Usage 李星辰夏浩茗廖山河 Li Xingchen,Xia Haoming and Liao Shanhe 摘要:零拷贝(zero-copy)是实现主机或路由器等设备高速网络接口的主要技术。零拷贝技术通过减少或消除关键通信路径影响速度的操作,降低数据传输的操作系统开销和协议处理开销,从而有效提高通信性能,实现高速数据传输。 Abstract: Zero-copy is an important technology to realize high-speed network interfacing forhosts and routers. It achieves high-speed data transfer through decreasing the overhead ofdata transm issioncaused by the operating system and transm ission protocols. Itsmain idea is to reduce orelim inate somemanipulations that affect speed in the critical transm ission path. 关键词: 零拷贝; 高速网络接口; 操作系统; 协议; 网络处理器; RAID; Keywords: zero-copy; high-speed network interfacing; OS; protocol;network conductor;RAID 1引言 新的应用需求如多媒体、VOD以及WEB服务等加重了通信负载,要求网络具有更多的带宽和更短的传输延迟。高速网络链路技术(SDH、光互连等)的发展提供了高带宽的网络。信息传输更加关注数据从主机或其他设备到网络接口的有效移动。零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除通信数据在存储器之间不必要的中间拷贝过程,有效地提高通信效率,是设计高速接口通道、实现高速服务器和路由器的关键技术之一。数据拷贝受制于传统的操作系统或通信协议,限制了通信性能。采用零拷贝技术,通过减少数据拷贝次数,简化协议处理的层次,在应用和网络间提供更快的数据通路,可以有效地降低通信延迟,增加网络吞吐率。 零拷贝技术的主要研究涉及到数据的传输途径、传输控制、缓冲区管理机制、地址变换和地址空间的保护机制等设计问题,并且需要考虑与操作系统或协议的结合关系。目前零拷贝技术的主要实现是用户级的高速网络通信接口。 2零拷贝的主要技术研究 零拷贝技术的研究主要针对以下两个方面: (1)创建有效的用户级通信接口,即应用程序直接将数据从通信接口发送出去或接收进来,消除系统内核中不必要的拷贝过程; (2)路由器的入端到出端的直接数据传输,即接收的报文只经过一次存储器缓冲,而缓冲队列中的报文经过必要的控制信息处理后,直接传送到输出端口发送出去,实现报文快速转发。 用户级网络接口的设计和实现的关键在于应用和网络间的接口,为此需要考虑以下一些关键问题。 2.1数据传输机制

相关主题