搜档网
当前位置:搜档网 › 存储系列——RAID原理

存储系列——RAID原理

存储系列——RAID原理
存储系列——RAID原理

大话存储系列5——RAID原理

2014-03-26 09:50:35| 分类:linux恢复|举报|字号订阅

整理自网络和大话存储2:

1、预备知识:条带化

当多个进程同时访问一个磁盘时,可能会出现磁盘冲突。大多数磁盘系统都对访问次数(每秒的I/O 操作,IOPS)和数据传输率(每秒传输的数据量,TPS)有限制。当达到这些限制时,后面需要访问磁盘的进程就需要等待,这时就是所谓的磁盘冲突。

避免磁盘冲突是优化I/O 性能的一个重要目标,而I/O 性能的优化与其他资源(如CPU和内存)的优化有着很大的区别,I/O 优化最有效的手段是将I/O 最大限度的进行平衡。

条带化技术就是一种自动的将I/O 的负载均衡到多个物理磁盘上的技术,条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去。这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突,而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的I/O 并行能力,从而获得非常好的性能。很多操作系统、磁盘设备供应商、各种第三方软件都能做到条带化。

图1 描述的是一个未经条带化处理的连续数据的分布,图2 描述的是一个已经被条带化处理的连续数据的分布,从中比较,我们可以发现图 2 中对连续数据的读写都有最大的并发能力。

图 1. 未经条带化处理的连续数据

图 2. 已经被条带化处理的连续数据

由于条带化在I/O 性能问题上的优越表现,以致于在应用系统所在的计算环境中的多个层次或平台都涉及到了条带化的技术,如操作系统和存储系统这两个层次中都可能使用条带化技术。

影响条带化效果的两个因素

当对数据做条带化时,数据被切成一块块的小数据块,各小数据块分布存储在不同的硬盘上。从这个描述中我们可以看出,影响条带化效果的因素有两个,一是条带大小(stripe size),即数据被切成的小数据块的大小,另一个条带宽度(stripe width),即数据被存储到多少块硬盘上。

条带宽度(stripe width)是指同时可以并发读或写的条带数量。这个数量等于RAID中的物理硬盘数量。例如一个经过条带化的,具有4块物理硬盘的阵列的条带宽度就是4。增加条带宽度,可以增加阵列的读写性能。道理很明显,增加更多的硬盘,也就增加了可以同时并发读或写的条带数量。在其他条件一样的前提下,一个由8块18G硬盘组成的阵列相比一个由4块36G硬盘组成的阵列具有更高的传输性能。

条带大小(stripe size)有时也被叫做block size, chunk size, stripe length或者granularity。这个参数指的是写在每块磁盘上的条带数据块的大小。RAID的数据块大小一般在2KB到512KB之间(或者更大),其数值是2的次方,即2KB,4KB,8KB,16KB这样。

条带大小对性能的影响比条带宽度难以量化的多。

·减小条带大小:由于条带大小减小了,则文件被分成了更多个,更小的数据块。这些数据块会被分散到更多的硬盘上存储,因此提高了传输的性能,但是由于要多次寻找不同的数据块,磁盘定位的性能就下降了。

·增加条带大小:与减小条带大小相反,会降低传输性能,提高定位性能。

根据上边的论述,我们会发现根据不同的应用类型,不同的性能需求,不同驱动器的不同特点(如SSD 硬盘),不存在一个普遍适用的"最佳条带大小"。所以这也是存储厂家,文件系统编写者允许我们自己定义条带大小的原因。不同条带大小,对于文件如何存储有很大的影响,请看下边这两幅图的对比:

这是一个由4块硬盘组成的RAID0阵列,左边的条带大小为4KB,右边的条带大小为64KB。

左边的图中的每一条细格表示4KB大小。

图中红色文件大小是4KB,蓝色文件大小20KB,绿色文件大小为100KB,紫色文件大小为500KB。从图中我们可以看到,不同条带大小对"中型大小"文件的影响是很大的。对于红色的4KB文件来说,不论条带是4KB还64KB,它都分布在一块硬盘的一个数据块上。而对于紫色的500KB文件来说,无论条带是4KB还是64KB,它都会被分布在四块硬盘上。

但是对于蓝色20KB的文件来说,如果采用64KB的条带大小,则它就会被分布在一块硬盘上,而不是像4KB条带时那样分布在四块硬盘上。同样绿色的100KB文件在64KB条带时,会被分布到2块硬盘,而4KB条带时则分布到4块硬盘上。可以看到,增加条带大小可以明显地增加定位性能。在上边的例子中,条带宽度理所当然是4。

下图是使用16KB条带时的文件分布图,可以对应参考理解一下。

那么我们应该选择多大的条带大小呢?最好的办法是尝试不同组合,根据应用的不同得到自己的经验规律。另外,不要过高估计不同条带大小间的性能差异。它有可能会差的很大,尤其是设置成4KB和256KB 这样两个相对极端数值的时候,但对于相差不大的数值,它们的性能差异可能就不明显。对于大多数应用来说,可以参考这样的经验法则:大量的小文件读写时,采用较大的条带大小(定位效果好);少量的大文件的快速访问,采用比较小的条带(传输速率高);如果要平衡这两者,那么采用中间值。

硬RAID与软RAID的区别:

通过用硬件来实现RAID功能的就是硬RAID,比如:各种RAID卡,还有主板集成能够做的RAID的都是硬RAID。

通过用操作系统来完成RAID功能的就是软RAID,比如:在Windows2000操作系统下,用三块硬盘做的RAID5.不过软件实现RAID有很多缺点,比如占用内存空间,占用cpu资源,软件raid程序无法将安装有操作系统的那个磁盘分区做成raid模式。因为raid程序是运行在操作系统之上的,所以在启动操作系统之前,是无法实现raid功能的。也就是说,如果操作系统损坏了,raid程序也就无法运行,磁盘上的数据就成了一度无用的东西。因为raid磁盘上的数据只能实现相应raid算法的程序才能识别并且正确读写。如果没有相应的raid程序,则物理磁盘上的数据仅仅是一些碎片而已,只有raid程序才能组合这些碎片。

不过,目前大多数的raid程序都会在磁盘上存储自己的算法,信息,一旦操作系统出现了问题,或者主机硬件出现了问题,就可以将这些磁盘连接到其他机器上,在安装相同的raid软件。raid软件读取在硬盘上固定区域的raid信息后,边可以继续使用。

总的来说,软件实现的raid缺点太多,硬件raid卡才是主流。

7种RAID技术简介:

首先说明一下,这个是我自己用来回忆的,具体的raid0-6的标准,技术实现还是各位自己google吧,不过如果你也是有些熟悉,但是分不清楚,下面的整理会让你的思路清晰一点:

RAID 0:RAID 0连续以位或字节为单位分割数据,并行读/写于多个磁盘上,因此具有很高的数据传输率,但它没有数据冗余,因此并不能算是真正的RAID结构。RAID 0只是单纯地提高性能,并没有为数

据的可靠性提供保证,而且其中的一个磁盘失效将影响到所有数据。因此,RAID 0不能应用于数据安全性要求高的场合。

另外顺便讲点其他的名词,就看上面的图吧:

条带长度(stripe length):一个条带所包含的所有数据块,或者总的字节数,或者扇区的个数(只不过单位不一样)。

段(Segment):一个条带在一块硬盘上所占有的数据块的数量或者说扇区的个数(也是单位一样罢了),顺便说下,一个扇区512B,一个块一般4KB=8个扇区。

条带深度(Stripe depth):一个段(segment)包含的数据块数量,或者说扇区数,或者说总的字节数(还是单位不一样罢了)

条带宽度(Stripe width):一个条带跨越的磁盘数量。

RAID 1:它是通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的数据。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID 1可以提高读取性能。RAID 1是磁盘阵列中单位成本最高的,但提供了很高的数据安全性和可用性。当一个磁盘失效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据。

RAID 0+1:也被称为RAID 10标准,实际是将RAID 0和RAID 1标准结合的产物,在连续地以位或字节为单位分割数据并且并行读/写多个磁盘的同时,为每一块磁盘作磁盘镜像进行冗余。它的优点是同时拥有RAID 0的超凡速度和RAID 1的数据高可靠性,但是CPU占用率同样也更高,而且磁盘的利用率比较低。

RAID 2:将数据条块化地分布于不同的硬盘上,条块单位为位或字节,并使用称为“加重平均纠错码(海明码)”的编码技术来提供错误检查及恢复。这种编码技术需要多个磁盘存放检查及恢复信息,使得RAID 2技术实施更复杂,因此在商业环境中很少使用。可以简单的理解校验是用的加减法则,如果数据盘大于两个,比如1+1+0=10(三个数据盘,两个个校验盘),这个时候校验数据是两位:10,是向每个磁盘写的数据量的两倍,也就是说需要两块校验盘来实现,这样一来,对磁盘的浪费就比较严重了。

RAID 3:它同RAID 2非常类似,都是将数据条块化分布于不同的硬盘上,区别在于RAID 3使用简单的奇偶校验,并用单块磁盘存放奇偶校验信息。如果一块磁盘失效,奇偶盘及其他数据盘可以重新产生数据;如果奇偶盘失效则不影响数据使用。RAID 3对于大量的连续数据可提供很好的传输率,但对于随机数据来说,奇偶盘会成为写操作的瓶颈。可以这样理解,它与raid2相比,最大的好处是无论数据盘有多少块,只用了块校验盘,这事怎么实现的呢?很简单,逻辑的“与或”运算来实现(1 xor 0 = 0 xor 1 = 1 ;

1 xor 1 = 0 xor 0 =0 ),比如说1 xor 0 xor 1 =0(注意校验结果是1位,这样无论式子左边有几个数据(代表了几块盘,右边只需要一块校验盘,即一个校验位)),另外raid3 改进了raid2以位为单位的写入规则,改成了以段(或者说块)为单位的写入。

RAID 4:RAID 4同样也将数据条块化并分布于不同的磁盘上,但条块单位为块或记录(相比月raid3,加大了条带的深度,这样希望每次IO只用到部分磁盘,期望达到并发IO的目的,但是没有考虑到校验盘的IO【瓶颈问题,这就是RAID4的败笔)。RAID 4使用一块磁盘作为奇偶校验盘,每次写操作都需要访问奇偶盘,这时奇偶校验盘会成为写操作的瓶颈,因此RAID 4在商业环境中也很少使用。

RAID 5:RAID 5不单独指定的奇偶盘,而是在所有磁盘上交叉地存取数据及奇偶校验信息。在RAID 5上,读/写指针可同时对阵列设备进行操作,提供了更高的数据流量。RAID 5更适合于小数据块和随机读写的数据。RAID 3与RAID 5相比,最主要的区别在于RAID 3每进行一次数据传输就需涉及到所有的阵列盘;而对于RAID 5来说,大部分数据传输只对一块磁盘操作,并可进行并行操作。在RAID 5中有“写损失”,即每一次写操作将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。

在这里我们讲一下,整条写,重构写,读改写的概念:

整条写:每个条带上的segment都更新,不需要额外的读写操作,写性能最好,例如raid2 ,raid3 都是这样的。

重构写:当需要写入的磁盘数目超过阵列磁盘的一半时采取该方式(1)从不需要修改的segment中读取原来的数据,再和本条带中所有需要修改的segment上的新数据一起计算XOR校验值(2)将新的segment数据和没有更新过的segment数据以及新的XOR校验值一起写入例如:数据盘为8块,某个时刻一个IO只更新了一个条带的6个segment,剩余两个没有更新。在重构写模式下,会将没有更新的两个segment数据读出,和需要更行的前6个segment计算出校验数据,然后数据和校验信息一起写入磁盘与整条写的比较:多出读segment数据操作和写校验数据操作

读改写:当需要写入的磁盘数目不超过一半时采取(1)从需要修改的segment中读取旧数据,再从条带上读取旧的奇偶校验值(读)(2)根据旧数据、旧校验值和需要修改的segment上的新数据计算这个条带上的新校验值(改)(3)写入新的数据和校验值(写)

RAID 6:与RAID 5相比,RAID 6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法,数据的可靠性非常高,即使两块磁盘同时失效也不会影响数据的使用。但RAID 6需要分配给奇偶校验信息更大的磁盘空间,相对于RAID 5有更大的“写损失”,因此“写性能”非常差。较差的性能和复杂的实施方式使得RAID 6很少得到实际应用。

RAID 7:这是一种新的RAID标准,其自身带有智能化实时操作系统和用于存储管理的软件工具,可完全独立于主机运行,不占用主机CPU资源。RAID 7可以看作是一种存储计算机(Storage Computer),它与其他RAID标准有明显区别。除了以上的各种标准,我们可以如RAID 0+1那样结合多种RAID规范来构筑所需的RAID阵列,例如RAID 5+3(RAID 53)就是一种应用较为广泛的阵列形式。用户一般可以通过灵活配置磁盘阵列来获得更加符合其要求的磁盘存储系统。

RAID 5E(RAID 5 Enhencement): RAID 5E是在RAID 5级别基础上的改进,与RAID 5类似,数据的校验信息均匀分布在各硬盘上,但是,在每个硬盘上都保留了一部分未使用的空间,这部分空间没有进行条带化,最多允许两块物理硬盘出现故障。看起来,RAID 5E和RAID 5加一块热备盘好象差不多,其实由于RAID 5E是把数据分布在所有的硬盘上,性能会与RAID5 加一块热备盘要好。当一块硬盘出现故障时,有故障硬盘上的数据会被压缩到其它硬盘上未使用的空间,逻辑盘保持RAID 5级别。

RAID 5EE:与RAID 5E相比,RAID 5EE的数据分布更有效率,每个硬盘的一部分空间被用作分布的热备盘,它们是阵列的一部分,当阵列中一个物理硬盘出现故障时,数据重建的速度会更快。

开始时RAID方案主要针对SCSI硬盘系统,系统成本比较昂贵。1993年,HighPoint公司推出了第一款IDE-RAID控制芯片,能够利用相对廉价的IDE硬盘来组建RAID系统,从而大大降低了RAID的“门

槛”。从此,个人用户也开始关注这项技术,因为硬盘是现代个人计算机中发展最为“缓慢”和最缺少安全性的设备,而用户存储在其中的数据却常常远超计算机的本身价格。在花费相对较少的情况下,RAID技术可以使个人用户也享受到成倍的磁盘速度提升和更高的数据安全性,现在个人电脑市场上的IDE-RAID控制芯片主要出自HighPoint和Promise公司,此外还有一部分来自AMI公司。

面向个人用户的IDE-RAID芯片一般只提供了RAID 0、RAID 1和RAID 0+1(RAID 10)等RAID规范的支持,虽然它们在技术上无法与商用系统相提并论,但是对普通用户来说其提供的速度提升和安全保证已经足够了。随着硬盘接口传输率的不断提高,IDE-RAID芯片也不断地更新换代,芯片市场上的主流芯片已经全部支持ATA 100标准,而HighPoint公司新推出的HPT 372芯片和Promise最新的PDC20276芯片,甚至已经可以支持ATA 133标准的IDE硬盘。在主板厂商竞争加剧、个人电脑用户要求逐渐提高的今天,在主板上板载RAID芯片的厂商已经不在少数,用户完全可以不用购置RAID卡,直接组建自己的磁盘阵列,感受磁盘狂飙的速度。

RAID 50:RAID50是RAID5与RAID0的结合。此配置在RAID5的子磁盘组的每个磁盘上进行包括奇偶信息在内的数据的剥离。每个RAID5子磁盘组要求三个硬盘。RAID50具备更高的容错能力,因为它允许某个组内有一个磁盘出现故障,而不会造成数据丢失。而且因为奇偶位分部于RAID5子磁盘组上,故重建速度有很大提高。优势:更高的容错能力,具备更快数据读取速率的潜力。需要注意的是:磁盘故障会影响吞吐量。故障后重建信息的时间比镜像配置情况下要长。

磁盘阵列基础知识

奇偶校验(XOR)条带存储,两个分布式存储的校验数据,数据条带存储单位为块。 与RAID 5相比,RAID 6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法,数据的可靠性非常高,即使两块磁盘同时失效也不会影响数据的使用。但RAID 6需要分配给奇偶校验信息更大的磁盘空间,相对于RAID 5有更大的“写损失”,因此“写性能”非常差。较差的性能和复杂的实施方式使得RAID 6很少得到实际应用。RAID7 这是一种新的RAID标准,其自身带有智能化实时操作系统和用于存储管理的软件工具,可完全独立于主机运行,不占用主机CPU资源。RAID 7可以看作是一种存储计算机(Storage Computer),它与其他RAID标准有明显区别。 RAID 7等级是至今为止,理论上性能最高的RAID模式,因为它从组建方式上就已经和以往的方式有了重大的不同。基本成形式见图,以往一个硬盘是一个组成阵列的“柱子”,而在RAID 7中,多个硬盘组成一个“柱子”,它们都有各自的通道,也正因为如此,你可以把这个图分解成一个个硬盘连接在主通道上,只是比以前的等级更为细分了。这样做的好处就是在读/写某一区域的数据时,可以迅速定位,而不会因为以往因单个硬盘的限制同一时间只能访问该数据区的一部分,在RAID 7中,以前的单个硬盘相当于分割成多个独立的硬盘,有自己的读写通道。 工程中常用的RAID方式是RAID10和RAID5。 下面分别介绍RAID10和RAID01的区别;以及RAID10和RAID5的区别。 RAID10和RAID01的比较 RAID10是先做镜象,然后再做条带。

RAID01则是先做条带,然后再做镜象。 比如以6个盘为例,RAID10就是先将盘分成3组镜象,然后再对这3个RAID1做条带。RAID01则是先利用3块盘做RAID0,然后将另外3块盘做为RAID0的镜象。 下面以4块盘为例来介绍安全性方面的差别: 1、RAID10的情况 这种情况中,我们假设当DISK0损坏时,在剩下的3块盘中,只有当DISK1一个盘发生故障时,才会导致整个RAID失效,我们可简单计算故障率为1/3。 2、RAID01的情况 这种情况下,我们仍然假设DISK0损坏,这时左边的条带将无法读取。在剩下的3块盘中,只要DISK2,DISK3两个盘中任何一个损坏,都会导致整个RAID失效,我们可简单计算故障率为2/3。 因此RAID10比RAID01在安全性方面要强。 从数据存储的逻辑位置来看,在正常的情况下RAID01和RAID10是完全一样的,而且每一个读写操作所产生的IO数量也是一样的,所以在读写性能上两者没什么区别。而当有磁盘出现故障时,比如前面假设的DISK0损坏时,我们也可以发现,这两种情况下,在读的性能上面也将不同,RAID10的读性能将优于RAID01。 RAID10和RAID5的比较 为了方便对比,这里拿同样多驱动器的磁盘来做对比,RAID5选择3D+1P的RAID方案,RAID10选择2D+2D的RAID方案,如图:

信息存储技术的发展过程

信息存储发展史 远古信息存储 1.结绳记事 结绳记事是文字发明前,人们所使用的一种记事方法。即在一条绳子上打结,用以记事。上古时期的中国及秘鲁印地安人皆有此习惯,即到近代,一些没有文字的民族,仍然采用结绳记事来传播信息 上古无文字,结绳以记事。《易.系辞下》:"上古结绳而治,后世圣人易之以书契。"孔颖达疏:"结绳者,郑康成注云,事大大结其绳,事小小结其绳,义或然 也。"晋葛洪《抱朴子.钧世》:"若舟车之代步涉,文墨之改结绳,诸后作而善于前事。"后以指上古时代。例如:奇普(Quipu或khipu)是古代印加人的一种结绳记事的方法,用来计数或者记录历史。它是由许多颜色的绳结编成的。这种结绳记事方法已经失传,目前还没有人能够了解其全部含义。结绳记事(计数):原始社会创始的以绳结形式反映客观经济活动及其数量关系的记录方式。结绳记事(计数)是被原始先民广泛使用的记录方式之一。文献记载:“上古结绳而治,后世圣人易以书契,百官以治,万民以察”(《易·系辞下》)。虽然目前末发现原始先民遗留下的结绳实物,但原始社会绘画遗存中的网纹图、陶器上的绳纹和陶制网坠等实物均提示出先民结网是当时渔猎的主要条件,因此,结绳记事(计数)作为当时的记录方式具有客观基础的。其结绳方法,据古书记载为:“事大,大结其绳;事小,小结其绳,之多少,随物众寡”(《易九家言》),即根据事件的性质、规模或所涉数量的不同结系出不同的绳结。民族学资料表明,近现代有些少数民族仍在采用结绳的方式来记录客观活动 2.甲骨文文字纸张 甲骨文是中国已发现的古代文字中时代最早、体系较为完整的文字。甲骨文主要指殷墟甲骨文,又称为“殷墟文字”、“殷契”,是殷商时代刻在龟甲兽骨上的文字。19世纪末年在殷代都城遗址被今河南安阳小屯发现,继承了陶文的造字方法,是中国商代后期(前14~前11世

磁盘阵列基础知识

基本的RAID介绍 RAID是英文Redundant Array of Independent Disks(独立磁盘冗余阵列),简称磁盘阵列。下面将各个级别的RAID介绍如下。 RAID0 条带化(Stripe)存储。理论上说,有N个磁盘组成的RAID0是单个磁盘读写速度的N 倍。RAID 0连续以位或字节为单位分割数据,并行读/写于多个磁盘上,因此具有很高的数据传输率,但它没有数据冗余,因此并不能算是真正的RAID结构。 RAID1 镜象(Mirror)存储。它是通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的数据。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID 1可以提高读取性能。RAID 1是磁盘阵列中单位成本最高的,但提供了很高的数据安全性和可用性。当一个磁盘失效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据。 RAID2 海明码(Hamming Code)校验条带存储。将数据条块化地分布于不同的硬盘上,条块单位为位或字节,使用称为海明码来提供错误检查及恢复。这种编码技术需要多个磁盘存放检查及恢复信息,使得RAID 2技术实施更复杂,因此在商业环境中很少使用。

RAID3 奇偶校验(XOR)条带存储,共享校验盘,数据条带存储单位为字节。它同RAID 2非常类似,都是将数据条块化分布于不同的硬盘上,区别在于RAID 3使用简单的奇偶校验,并用单块磁盘存放奇偶校验信息。如果一块磁盘失效,奇偶盘及其他数据盘可以重新产生数据;如果奇偶盘失效则不影响数据使用。RAID 3对于大量的连续数据可提供很好的传输率,但对于随机数据来说,奇偶盘会成为写操作的瓶颈。 RAID4 奇偶校验(XOR)条带存储,共享校验盘,数据条带存储单位为块。RAID 4同样也将数据条块化并分布于不同的磁盘上,但条块单位为块或记录。RAID 4使用一块磁盘作为奇偶校验盘,每次写操作都需要访问奇偶盘,这时奇偶校验盘会成为写操作的瓶颈,因此RAID 4在商业环境中也很少使用。 RAID5

存储技术现状

存储技术应用现状调查 摘要在如今的存储市场上,有大量可供选择的技术。而且人们根据这些不同的选项可以作出很多不同的决定。有三个比较全面的存储选项值得你考虑:直连存储(DAS)、网络直连存储(NAS)、和存储区域网络(SAN)。正如你所期望的,每个选项都会满足特定的需要,并且每个选项都会有自己的优点和缺点,在作出决定之前你需要权衡一下利弊。 关键词直连存储;网络直连存储;存储区域网络 1.存储技术的介绍 1.1直连存储 在DAS(Direct Attached Storage)方式中,存储设备是通过电缆直接到服务器的。I/O(输入/输出)请求直接发送到存储设备。对于多个服务器或多台PC的环境,使用DAS方式设备的初始费用可能比较低,可是这种连接方式下,每台PC或服务器单独拥有自己的存储磁盘,容量的再分配困难;对于整个环境下的存储系统管理,工作烦琐而重复,没有集中管理解决方案。所以整体的拥有成本(TCO)较高。 任何曾经接触过服务器的人都会对DAS比较熟悉。DAS是一种将存储介质直接安装在服务器上或者安装在服务器外的存储方式。例如,将存储介质连接到服

务器的外部SCSI通道上也可以认为是一种直连存储方式。 DAS已经存在了很长时间,并且在很多情况下仍然是一种不错的存储选择。由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率,因此,虽然在一些部门中一些新的SAN 设备已经开始取代DAS,但是在要求快速磁盘访问的情况下,DAS仍然是一种理想的选择。更进一步地,在DAS环境中,运转大多数的应用程序都不会存在问题,所以你没有必要担心应用程序问题,从而可以将注意力集中于其他可能会导致问题的领域。然而,DAS并不是总是具有美好的一面。首要的一个问题是IT经理必须要经常面对所谓的"空间问题"问题,这些问题需要考虑以下常见的方面:对于一个新的服务器,我需要多少存储空间?如果物资不充沛但需要增加空间时我应该如何做?目前市场上的一些选项可以帮助你减轻与这些问题相关的存储负担,但是不管怎样,你也需要对这种存储方式进行一次较好的评估,否则的话,你对存储所做的扩展将只是一个没有预测的表面上的需要。另外,你还需要管理几乎所有基于服务器的DAS系统,这意味着你需要在适当的位置上有一个监控服务器上每个物理单元的磁盘使用率工具。大多数的IT经理都不希望其磁盘空间在工作日的中间出现不够用的情况。在很多情况下,DAS是一种理想的选择:如果你的存储系统中需要快速访问,但是公司目前还不能接受最新的SAN技术的价格时或者SAN技术在你的公司中还不是一种必要的技术时,这是一种理想的选择。对于那些对成本非常敏感的客户来说,在很长一段时间内,DAS将仍然是一种比较便宜的存储机制。当然,这是在只考虑硬件物理介质成本的情况下才有这种结论。如果与其他的技术进行一个全面的比较--考虑到管理开销和存储效率等方面的因素的话,你就会发现,DAS将不再占有绝对的优势。对于那些非常小的不再需要其他存储介质的环境来说,这也是一种理想的选择。 1.2网络直连存储 NAS(Network Attached Storage)是一种将分布、独立的数据整合为大型、集中化管理的数据中心,以便于对不同主机和应用服务器进行访问的技术。它是一种专用数据存储服务器。它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储,而效率却远远高于后者。

存储快照技术详解

存储快照技术广泛的应用于在数据保护系统上。这项技术可以显著的缩短恢复时间对象RTO以及恢复目标对象RPO.本文将介绍不同的存储快照技术以及他们分别的优势和劣势。 如下是六种常见的存储快照技术: 写入即复制 写入即转存 克隆或者镜像剥离 后台复制下的写入即复制 增量 可持续性数据保护 写入即复制式快照 写入即复制式快照技术存储快照技术的一种,要求先预留足够的存储空间用做快照内容的存放,之后将会对卷进行快照操作然后存放在之前预留的空间里。在这个初始创建快照的操作中,写入即复制快照技术仅保存那些原始数据存放的位置,却不会拷贝那些真实的数据。这就能确保快照是实时的,且几乎不会对整个系统造成影响。 之后,快照和之前的卷进行比对,来定位那些内容做出改动的数据块。当数据库被改变的时候,原始数据先会被复制到特定的保留区用作快照使用,之后原始的数据才被覆盖。被快照的原始数据块仅当第一次做出更改的时候才会被复制。整个过程可以保证快照数据和快照发生时的时间戳是连续的,这也是为什么被称为写入即复制。 对于那些没用被改变数据的读请求会被直接重定向到原来的卷上。而对被改变后数据的读请求会被重定向到快照上的被复制的数据块上。每一份快照都包含了用于描述自从第一份镜像创建以来更改的数据块的信息。 存储快照技术中写入即复制式快照的主要优势是它的空间利用的效率。由于保留的快照存储空间仅仅是用于保存更改的数据,这样就大大的节省了空间。然而这项技术的很明显的一个缺点就是这会降低原始卷的性能。这样说是因为对原始卷的写请求需要先等待原始数据先被复制到快照后才能开始写入。这样以来,写入即复制机制的一个重要方面就是每份快照都需要一份可用的原始数据副本。 写入即转存式快照 写入即转存式快照存储快照技术的一种和写入即复制式快照相似,然而不同之处在于,它解决了双重写入导致的性能问题。写入即转存式快照同样也提供了和写入即复制式快照类似的较高空间利用率的快照服务。之所以写入即转存式快照方式会避免写入带来的性能问题是由于所有对原始卷的写入操作都会重定向到转为快照预留的存储空间上。写入即转存式快照方式将新的写入操作由两次压缩为一次。这样而来,写入操作就不必先将原始数据的一份拷贝写入磁盘存储空间,再写入另一份有变动的数据拷贝的两次操作,唯一需要做的就是对更改的数据作出写入操作。 随着写入即转存式快照方式的应用,原始拷贝都会包含一份及时的快照数据,有改动的数据也不再会存放在快照存储上。在快照删除的时候会稍显复杂。需要被删除的快照首先会被拷贝,以确保和原始卷的连续性。随着更多快照的创建,复杂的程度也呈指数上升。复杂程度不仅限于对原始数据访问上,对快照数据以及原始卷的追逐定位和快照删除上的复杂也是需要考虑的。如果快照依赖的原始数据受到损害,将会带来比较严重的后果。 以上就是本文对常见的存储快照技术以及优劣势的分析,希望对大家会有帮助。 磁盘 在磁盘硬件监测上,你也有类似的问题。磁盘存在一个通用的错误值集合,这些错误值由SMART 技术予以定义并加以搜集。如果你有JBOD(简单磁盘捆绑)或者低端的RAID(独立磁盘冗余阵列),那么你可以购买一个软件包来帮助你搜集SMART数据。 那么对于我们这些拥有来自大型厂商的大型RAID系统的用户来说又会怎样呢?所有这些厂商都会监测SMART统计数据,并根据它们所搜集的来自驱动器厂商的信息、历年来所搜集的统计信息,以

磁盘阵列的关键技术

磁盘阵列的关键技术 黄设星 存储技术在计算机技术中受到广泛关注,服务器存储技术更是业界关心的热点。一谈到服务器存储技术,人们几乎立刻与SCSI(Small Computer Systems Interface)技术联系在一起。尽管廉价的IDE硬盘在性能、容量等关键技术指标上已经大大地提高,可以满足甚至超过原有的服务器存储设备的需求。但由于Internet的普及与高速发展,网络服务器的规模也变得越来越大。同时,Internet不仅对网络服务器本身,也对服务器存储技术提出了苛刻要求。无止境的市场需求促使服务器存储技术飞速发展。而磁盘阵列是服务器存储技术中比较成熟的一种,也是在市场上比较多见的大容量外设之一。 在高端,传统的存储模式无论在规模上,还是安全上,或是性能上,都无法满足特殊应用日益膨胀的存储需求。诸如存储局域网(SAN)等新的技术或应用方案不断涌现,新的存储体系结构和解决方案层出不穷,服务器存储技术由直接连接存储(DAS)向存储网络技术(NAS)方面扩展。在中低端,随着硬件技术的不断发展,在强大市场需求的推动下,本地化的、基于直接连接的磁盘阵列存储技术,在速度、性能、存储能力等方面不断地迈上新台阶。并且,为了满足用户对存储数据的安全、存取速度和超大的存储容量的需求,磁盘阵列存储技术也从讲求技术创新、重视系统优化,以技术方案为主导的技术推动期逐渐进入了强调工业标准、着眼市场规模,以成熟产品为主导的产品普及期。 磁盘阵列又叫RAID(Redundant Array of Inexpensive Disks——廉价磁盘冗余阵列),是指将多个类型、容量、接口,甚至品牌一致的专用硬磁盘或普通硬磁盘连成一个阵列,使其能以某种快速、准确和安全的方式来读写磁盘数据,从而达到提高数据读取速度和安全性的一种手段。因此,磁盘阵列读写方式的基本要求是,在尽可能提高磁盘数据读写速度的前提下,必须确保在一张或多张磁盘失效时,阵列能够有效地防止数据丢失。磁盘阵列的最大特点是数据存取速度特别快,其主要功能是可提高网络数据的可用性及存储容量,并将数据有选择性地分布在多个磁盘上,从而提高系统的数据吞吐率。另外,磁盘阵列还能够免除单块硬盘故障所带来的灾难后果,通过把多个较小容量的硬盘连在智能控制器上,可增加存储容量。磁盘阵列是一种高效、快速、易用的网络存储备份设备。 回顾磁盘阵列的发展历程,一直和SCSI技术的发展紧密关联,一些厂商推出的专有技术,如IBM的SSA(Serial Storage Architecture)技术等,由于兼容性和升级能力不尽如人意,在市场上的影响都远不及SCSI技术广泛。由于SCSI技术兼容性好,市场需求旺盛,使得SCSI技术发展很快。从最原始5MB/s传输速度的SCSI-1,一直发展到现在LVD接口的160MB/s传输速度的Ultra 160 SCSI,320MB/s传输速度的Ultra 320 SCSI接口也将在2001年出现(见表1)。从当前市场看,Ultra 3 SCSI技术和RAID(Redundant Array of Inexpensive Disks)技术还应是磁盘阵列存储的主流技术。 1SCSI技术 SCSI本身是为小型机(区别于微机而言)定制的存储接口,SCSI协议的Version 1 版本也仅规定了5MB/s传输速度的SCSI-1的总线类型、接口定义、电缆规格等技术标准。随着技术的发展,SCSI协议的Version 2版本作了较大修订,遵循SCSI-2协议的16位数据带宽,高主频的SCSI存储设备陆续出现并成为市场的主流产品,也使得SCSI技术牢牢地占

RAID系统基础知识

RAID系统基础知识 1.1 SCSI基础知识 在配置磁盘阵列系统之前,你必须了解一些SCSI的基础知识。 ●SCSI ID SCSI ID是安排给一个SCSI设备的唯一的编号,这使这些设备在通过SCSI总线连接到主机后,能够很好的与主机之间交换信息。每个SCSI设备和SCSI卡必须有一个SCSI ID号(Fast SCSI-2 = 0 ~7,Ultra Wide/Ultra2 SCSI = 0 ~ 15)。一个ID号将唯一的定义在同一SCSI总线.上的一个设备,不能有多个设备使用同一ID号。如果一台主机有两条SCSI总线,则不同SCSI总线上的设备可以有相同SCSI ID号。 ●Terminator(终结器) 基于SCSI的定义,SCSI总线必须在两端终结。这就是说,连接在SCSI总线最末端的设备必须使其终结器有效。连接在SCSI总线中间的设备必须使其终结器失效。其实,终结是为了使数据信号能不失真的在SCSI总线上传输。一些SCSI设备要手工加上或去掉终结器,而另一些设备内建有终结器,通过开关或软件命令使终结器有效或失效。 1.2 Why disk array ●我们需要磁盘阵列 在过去的七年间,PC机速度提高了50多倍,这种进步导致现在已能制造出功能非常强大的PC机,它们能执行那些以前被认为只有在大得多并且贵得多的机器上才能完成的任务. 但是,存储数据的设备(指硬磁盘)的处理速度未能跟上来。图1说明了两者的巨大差异。虽然磁盘驱动器的性能就其价格容量比来说大大改善了,它的实际速度却只提高了3-4倍。因此,九十年代末最强大的计算将是那些磁盘系统性能优化的机器,如果磁盘系统的性能得到像计算机处理系统性能那样的改善,我们就有了真正的超级微型计算机. 的速度对比 目前已经研制了 新的技术来缩小 日益增大的计算 机主机和磁盘驱 动之间的性能差 距,这就是现在正 在被人们逐渐认 识的磁盘阵列技 术。磁盘阵列技术 可以详细地划分 为若干个级别0 - 5 RAID技术。RAID是廉价冗余磁盘阵列(Redundant Array of Inexpensive Disk)的简称。某些级别的RAID技术可以把速度提高到单个磁盘驱动器的400% 。磁盘阵列把多个磁盘驱动器连接在一起协同工作,大大提高了速度,同时把磁盘系统的可靠性提高到接近无错的境界。这些“容错”系统速度极快,同时可靠性极高。

快照技术原理

随着存储应用需求的提高,用户需要在线方式进行数据保护,快照就是在线存储设备防范数据丢失的有效方法之一,越来越多的设备都开始支持这项功能。 越来越多的存储设备支持快照功能,在这些产品的资料中宣传了各自快照技术的优势,有的是快照数量多,有的是占用空间小。那么,究竟什么是快照技术?主要有哪些类型?接下来我们深入了解一下。 快照的定义与作用 SNIA(存储网络行业协会)对快照(Snapshot)的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。 而从具体的技术细节来讲,快照是指向保存在存储设备中的数据的引用标记或指针。我们可以这样理解,快照有点像是详细的目录表,但它被计算机作为完整的数据备份来对待。 快照有三种基本形式:基于文件系统式的、基于子系统式的和基于卷管理器/虚拟化式的,而且这三种形式差别很大。市场上已经出现了能够自动生成这些快照的实用工具,比如有代表性的有NetApp的存储设备基于文件系统实现,高中低端设备使用共同的操作系统,都能够实现快照应用;HP的EVA、HDS通用存储平台以及EMC的高端阵列则实现了子系统式快照;而Veritas则通过卷管理器实现快照。 快照的作用主要是能够进行在线数据恢复,当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复,将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照数据,还可以利用快照进行测试等工作。 因此,所有存储系统,不论高中低端,只要应用于在线系统,那么快照就成为一个不可或缺的功能。 两种类型 目前有两大类存储快照,一种叫做即写即拷(copy-on-write)快照,另一种叫做分割镜像快照。 即写即拷快照可以在每次输入新数据或已有数据被更新时生成对存储数据改动的快照。这样做可以在发生硬盘写错误、文件损坏或程序故障时迅速地恢复数据。但是,如果需要对网络或存储媒介上的所有数据进行完全的存档或恢复时,所有以前的快照都必须可供使用。 即写即拷快照是表现数据外观特征的“照片”。这种方式通常也被称为“元数据”拷贝,即所有的数据并没有被真正拷贝到另一个位置,只是指示数据实际所处位置的指针被拷贝。在使用这项技术的情况下,当已经有了快照时,如果有人试图改写原始的LUN上的数据,快照软件将首先将原始的数据块拷贝到一个新位置(专用于复制操作的存储资源池),然后再进行写操作。以后当你引用原始数据时,快照软件将指针映射到新位置,或者当你引用快照时将指针映射到老位置。 分割镜像快照引用镜像硬盘组上所有数据。每次应用运行时,都生成整个卷的快照,而不只是新数据或更新的数据。这种使离线访问数据成为可能,并且简化了恢复、复制或存档一块硬盘上的所有数据的过程。但是,这是个较慢的过程,而且每个快照需要占用更多的存储空间。 分割镜像快照也叫作原样复制,由于它是某一LUN或文件系统上的数据的物理拷贝,有的管理员称之为克隆、映像等。原样复制的过程可以由主机(Windows上的MirrorSet、Veritas 的Mirror卷等)或在存储级上用硬件完成(Clone、BCV、ShadowImage等)。 三种使用方法 具体使用快照时,存储管理员可以有三种形式,即冷快照拷贝、暖快照拷贝和热快照拷贝。冷快照拷贝

RAID详解-AMD篇

RAID详解-AMD篇 前言、RAID模式简介 RAID(Redundant Array of Independent Disks)若干个单独的硬盘组成一个逻辑的磁 盘。中文一般叫做磁盘阵列。 常见的RAID模式有5种:RAID 0,RAID 1,RAID 5,RAID 10,JBOD 1、RAID 0(串列)就是把2个(2个以上)硬盘串连在一起组成一个逻辑硬盘,容量是原来的2倍(或2倍以上)。向硬盘写入数据时,同时写入2个硬盘,每个硬盘写入一半,读出时也是从2个硬盘读取,所以速度比单个硬盘快。RAID0是提高硬盘速度。 2、RAID 1(镜像)就是把2个(2个以上)硬盘并连在一起组成一个逻辑硬盘,容量不变,一个硬盘是另一个硬盘的镜像。向硬盘写入数据时,同时写入2个硬盘,每个硬盘写入同样的数据,当一个硬盘有故障,另一个硬盘可以继续工作,更换故障硬盘后,便向新硬

盘复制数据,继续保持2个硬盘存储相同的数据。RAID1是保证数据安全。 3、RAID 5(交叉分布奇偶校验的串列)至少要3个硬盘组成,向硬盘写入数据的同时还写入数据的奇偶校验。速度与2个硬盘的RAID0一样,容量是2个硬盘之和,当其中一个硬盘有故障,更换硬盘后可以恢复这个硬盘的数据。RAID5是既提高速度又保护数据安全。 4、RAID 10(串列和镜像)至少要4个硬盘,就是每2个硬盘组成串列后再做镜像。RAID10的容量是2个硬盘容量之和,其中任何一个硬盘有故障,系统都可以正常工作,当更换硬

盘后就像这个硬盘恢复原来的数据。RAID0是既提高速度又保护数据安全。 5、JBOD严格说不是RAID,它是可以把不同容量的硬盘串连成一个大的逻辑盘,与RAID0

常见的网络存储技术及其发展趋势

探讨几种常见的网络存储技术及其发展趋势 2012-08-15 来源:作者:吴桂华 摘要:计算机的发展从单片机时代开始,历经客户服务器时代和互联网时代之后,现在正逐步走向网络时代。许多有别于传统存储系统的新趋势日益显现,而选择不当的网络存储技术,往往会使得单位在网络建设中盲目投资,造成单位的网络性能低下。本文通过分析直连附加存储、网络附加存储、存储区域网络三种网络存储架构的优点、缺点及应用,供不同需求的单位群体参考选择,同时也简单地介绍网络存储技术未来的发展趋势及方向。 关键词:服务器时代网络时代传统存储系统网络存储技术发展趋势随着不断加速的信息需求使得存储容量飞速增长,存储系统网络平台已经成为一个核心平台,同时各种应用对平台的要求也越来越高,不仅在存储容量上,还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说,存储网络平台的综合性能的优劣,将直接影响到整个系统的正常运行。因此,发展一种具有成本效益的和可管理的先进存储方式就成为必然。下面就当前的存储技术及发展趋势进行分析和探讨。 1、网络存储技术概述 所谓网络存储技术(Network Storage Technologies),就是以互联网为载体实现数据的传输与存储,数据可以在远程的专用存储设备上,也可以是通过服务器来进行存储。网络存储技术是基于数据存储的一种通用网络术语。实际上,我们可以将存储技术分为三个阶段:①总线存储阶段;②存储网络阶段;③虚拟存储阶段。以存储网络为中心的存储是对数据存储新需求的回答。它采用面向网络的存储体系结构,使数据处理和数据存储分离;网络存储体系结构包括了网络和I/O的精华,将I/O能力扩展到网络上,特别是灵活的网络寻址能力,远距离数据传输能力,I/O高效的原性能;通过网络连接服务器和存储资源,消除了不同存储设备和服务器之间的连接障碍;提高了数据的共享性、可用性和可扩展性、管理性。 2、几种传统的网络存储架构 网络存储架构大致分为三种:直连附加存储、网络附加存储、存储区域网络。这几种网络存储方式特点各异,应用在不同的领域。下面我们来做简单的介绍并分析其中区别。 2.1 直连附加存储(DAS:Direct Attached Storage) 直接网络存储(DAS)是指将存储设备通过SCSI接口或光纤通道直接连接到服务器上的方式。这种连接方式主要应用于单机或两台主机的集群环境中,主要优点是存储容量扩展的实施简单,投入成本少,见效快。DAS主要应用于: (1)服务器在地理分布上很分散,SAN或NAS在它们之间进行互连非常困难时;(2)存储系统必须被直接连接到应用服务器时;(3)包括许多数据库应用和应用服务器在内的应用时。 缺点: (1)不能提供跨平台的文件共享功能;(2)用户要备份数据和存储数据,都要占用服务器CPU的时间,降低了服务器的管理效能;(3)由于各个主机之间的数据独立,数据需要逐一备份,使数据备份工作较为困难;(4)随着服务器的增多,数据管理会越来越复杂;

实战RAID5 手把手教你组磁盘阵列 5精编版

实战RAID5 手把手教你组磁盘阵列 5 随着PC硬件的不断发展,以前多见于服务器等高端应用的RAID5技术也出现在PC机上。许多玩家开始接触到这种提升速同时也能确保数据安全性的良好的解决方案。 RAID 5 模式的入门知识 RAID 5 是一种存储性能、数据安全和存储成本兼顾的存储解决方案。它既能实现RAID 0的高速存储读取功能也能够实现RAID 1的数据恢复功能,可以说是RAID 0和RAID 1的折衷方案。 RAID 5为系统提供数据安全保障,但保障程度要比磁盘镜像低而磁盘空间利用率要比磁盘镜像高。同时RAID 5还具有和RAID 0相近似的数据读取速度,只是多了一个奇偶校验信息,而且存储成本相对较低。 RAID 5至少需要三块硬盘才能实现阵列,在阵列当中有三块硬盘时,RAID控制器将会把需要存储的数据按用户定义的分割大小把文件分成碎片再分别存储到其中的两块硬盘上,此时另一块硬盘不接收文件碎片,只用来存储其它两块硬盘的校验信息,这个校验信息是通过RAID控制器上的单独的芯片运算产生的,而且可以通过这个校验信息来恢复存储在两块硬盘上的数据。 另外,这三块硬盘的任务也是随机的,也就是说在这次存储当中可能是1号硬盘和2 好硬盘用来存储分割后的文件碎片,那么在下次存储的时候可能就是2号硬盘和3号硬盘来完成这个任务了。可以说,在每次存储操作当中,每块硬盘的任务是不一样的,不过,不管任务怎么随机分配也是两块硬盘用来存储数据信息,另一块硬盘用来存储校验信息。 RAID 5可以利用三块硬盘同时实现RAID 0的加速功能也实现RAID 1的数据备份功能,并且当其中的一块硬盘损坏之后,加入一块新的硬盘也可以实现数据的还原。 RAID 5模式并不是完全没有缺点,如果阵列当中某块硬盘上的信息发生了改变的话,那么就需要重新计算文件分割碎片,并且,校验信息也需要重新计算,这时,三个硬盘都需要重新调用那么整个系统性能将会降下来。如果要做RAID 5阵列的话,最好使用相同容量相同速度的硬盘,RAID 5模式的有效容量是阵列中容量最小的硬盘容量乘上阵列中硬盘数减一后的数目,这是因为其中有一块硬盘用来存放校验信息。 RAID 5既能够实现速度上的加倍,同时也能够保证数据的安全性,所以在很多高端系统当中都使用这种RAID模式。 如何实现 RAID 5: ATA RAID控制器目前市场上的RAID控制器主要有两种,一是主板上集成的IDE RAID 控制器,现在很多高端主板都具有集成 ATA RAID 控制器。

ZFS文件系统Snapshot技术的分析

ZFS文件系统Snapshot技术的分析 摘要:快照是一种重要的存储数据的技术,可以在不停止应用程序的情况下对数据进行备份。本文对Solaris平台下的ZFS文件系统中的快照技术进行了分析,介绍了快照的工作原理、实现技术及数据结构,并在ZFS中进行快照创建、数据恢复的实例分析,结果表明ZFS文件系统中的快照技术能避免数据的丢失,可以有效地保护该系统下的数据,并且在操作系统的实验教学中对文件系统的分析具有较大的实践意义。 关键词:快照;Copy-on-Write;ZFS;Solaris 1引言 随着计算机技术在各个领域的广泛应用,信息量迅速增长,越来越多的单位、公司以及个人对计算机数据的依赖性逐步增强,数据的损坏或者丢失将对用户造成不可弥补的损失。为保护重要数据,用户不得不频繁地备份数据。传统的数据备份是冷备份,需要停止系统运行才能进行,在备份期间,无法进行正常的数据访问。但对于许多关键性的应用环境,如电子商务系统或者银行系统等,系统需要连续不断地运转,停机就意味着业务的停顿和商业机会的丢失,停止系统来进行数据备份就会造成难以估量的损失。因此,如何在系统运行期间对系统数据进行备份,并保证数据版本的一致性就变得尤为重要。Snapshot技术正是为了解决该问题提出的。Snapshot能在不停止应用程序的情况下生成某一瞬间的数据映像,用户可以对该数据映像进行保存备份,当系统出现问题或者数据丢失时,用户可以安全方便地获得快照创建时刻的数据映像。 2Snapshot技术介绍 Snapshot也称为快照,是本地保留的按时间点保存的数据映像。产生一个文件系的Snapshot,并不是对所有数据块进行拷贝,只是对文件系统当前点的信息记录。快照不能被直接访问,但是可以对它们执行克隆、备份、回滚等操作,通过这些操作,系统可以有效地保护数据。 Snapshot技术的实现方式目前有两种:即写即拷(Copy-on-Write)方式和分割镜像(Split-Mirror)方式。Snapshot需要建立一个完整一致的映像,为了保证这一点,必须在某个特定的时刻完成全部数据的拷贝,通常这种拷贝不可能在一瞬间完成的。实际上在进行Snapshot操作时,并不是对所有的数据进行完全复制,而是使用Copy-on-Write技术或者Split-Mirror方式。建立一个Snapshot只需要极少的工作,

网络存储技术试卷

一、单项选择题 1、使用串行传输方式的硬盘接口不包括( ) A. SAS B. FC C. SATA D. SCSI 2、RAID6级别的RAID组的磁盘利用率(N:成员盘个数): ( ) A. N/(N-2) B. 100% C. (N-2)/N D. 1/2N 3、对于E-mail或者是DB应用,以下哪个RAID级别是不被推荐的 : ( ) A. RAID10 B. RAID6 C. RAID5 D. RAID0 4、磁盘阵列中映射给主机使用的通用存储空间单元被称为( ),它是在RAID的基础上创 建的逻辑空间。 A. LUN B. RAID C. 硬盘 D. 磁盘阵列 5、下列RAID技术无法提高读写性能的是:( ) A. RAID0 B. RAID1 C. RAID3 D. RAID5 6、下列RAID技术中可以允许两块硬盘同时出现故障而仍然保证数据有效的是:( ) A. RAID3 B. RAID4 C. RAID5 D. RAID6 7、下列RAID技术中无法提高可靠性的是() A. RAID0 B. RAID1 C. RAID10 D. RAID01 8、主机访问存储路径顺序为( ) A. 文件系统->应用系统->卷->I/O子系统->RAID控制器->磁盘 B. 应用系统->文件系统->卷->I/O子系统->RAID控制器->磁盘 C. 应用系统->文件系统->I/O子系统->卷->RAID控制器->磁盘 D. 应用系统->文件系统->卷->RAID控制器->I/O子系统->磁盘 9、下列RAID技术中,磁盘空间利用率最低的是( ) A. RAID1 B. RAID3 C. RAID0 D. RAID05 10、8个300G的硬盘做RAID 5后的容量空间为() A. 1200G B. C. D. 2400G 11、RAID5可以保护存放在存储中的数据不会因为硬盘原因而丢失,当RAID5中的硬盘损坏 后数据仍然存在,RAID5中最多可以损坏( )块硬盘。 A. 1块也不能损坏 B. 可以损坏1块 C. 可以损坏2块 D.可以损坏3块 12、在单个阵列盘区中,一系列连续编址的磁盘块的集合被称为() A. 磁盘阵列 B. RAID C. 条带 D. 数据块 13、镜像阵列或者RAID阵列中发生故障的磁盘上的所有用户数据和校验数据的重新生成的 过程被称为() A. 重计算 B. 重构 C. 热备份 D. 恢复

信息存储技术的发展过程

信息存储技术的发展过 程 Company number:【WTUT-WT88Y-W8BBGB-BWYTT-19998】

信息存储发展史 远古信息存储 1.结绳记事 结绳记事是文字发明前,人们所使用的一种记事方法。即在一条绳子上打结,用以记事。上古时期的中国及秘鲁印地安人皆有此习惯,即到近代,一些没有文字的民族,仍然采用结绳记事来传播信息 上古无文字,结绳以记事。《.系辞下》:"上古,后世圣人易之以书契。"孔颖达疏:"结绳者,注云,事大大结其绳,事小小结其绳,义或然 也。"晋葛洪《抱朴子.钧世》:"若舟车之代步涉,文墨之改结绳,诸后作而善于前事。"后以指上古时代。例如:(Quipu或khipu)是古代的一种结绳记事的方法,用来计数或者记录历史。它是由许多颜色的绳结编成的。这种结绳记事方法已经失传,目前还没有人能够了解其全部含义。结绳记事(计数):原始社会创始的以绳结形式反映客观经济活动及其数量关系的记录方式。结绳记事(计数)是被原始先民广泛使用的记录方式之一。文献记载:“上古结绳而治,后世圣人易以书契,百官以治,万民以察”(《易·系辞下》)。虽然目前末发现原始先民遗留下的结绳实物,但原始社会绘画遗存中的网纹图、上的绳纹和陶制网坠等实物均提示出先民结网是当时渔猎的主要条件,因此,结绳记事(计数)作为当时的记录方式具有客观基础的。其结绳方法,据古书记载为:“事大,大结其绳;事小,小结其绳,之多少,随物众寡”(《易九家言》),即根据事件的性质、规模或所涉数量的不同结系出不同的绳结。民族学资料表明,近现代有些少数民族仍在采用结绳的方式来记录客观活动

2.甲骨文文字纸张 甲骨文是已发现的古代文字中时代最早、体系较为完整的文字。甲骨文主要指文,又称为“殷墟文字”、“殷契”,是殷商时代刻在兽骨上的文字。19世纪末年在殷代遗址被今小屯发现,继承了的造字方法,是中国后期(前14~前11世纪)王室用于占卜记事而刻(或写)在龟甲和兽骨上的文字。 古人以上等蚕茧抽丝织绸,剩下的恶茧、病茧等则用漂絮法制取丝绵。漂絮完毕,篾席上会遗留一些残絮。当漂絮的次数多了,篾席上的残絮便积成一层纤维薄片,经晾干之后剥离下来,可用于书写。这种漂絮的副产物数量不多,在古书上称它为赫蹏或方絮。这表明了中国造纸术的起源同丝絮有着渊源关系。东汉元兴元年(105)蔡伦发明造纸术。他用树皮、麻头及敝布、鱼网等植物原料,经过挫、捣、抄、烘等工艺制造的纸,是现代纸的渊源。公元三到六世纪的魏晋南北朝时期,我国造纸术不断革新。在原料方面,除原有的麻、楮外,又扩展到用桑皮、藤皮造纸。蔡伦首先使用树皮造纸,树皮是比麻类丰富得多的原料,这可以使纸的产量大幅度的提高。树皮中所含的木素、果胶、蛋白质远比麻类高,因此树皮的脱胶、制浆要比麻类难度大。这就促使蔡伦改进造纸的技术。西汉时利用石灰水制浆,东汉时改用草木灰水制浆,草木灰水有较大 的碱性,有利于提高纸浆的质量。

第一章、快照(Snapshot)技术发展综述

第一章、快照(Snapshot)技术发展综述 摘要:传统数据备份技术存在备份窗口、恢复时间目标RTO和恢复时间点RPO 过长的问题,无法满足企业关键性业务的数据保护需求,因此产生了数据快照技术。本文对快照技术的概念、特点、实现技术和发展现状进行了概括性阐述,并对其未来的发展进行了展望。 关键词:快照,备份,复制,镜像,写时复制,指针重映射 作者简介:刘爱贵,研究方向为网络存储、数据挖掘和分布式计算;毕业于中科院,目前就职于赛门铁克@Symantec,从事存储软件研发。Email: Aigui.Liu@https://www.sodocs.net/doc/3016064620.html, 注:作者学识和经验水平有限,如有错误或不当之处,敬请批评指正。 PDF格式下载:https://www.sodocs.net/doc/3016064620.html,/source/1613486 一. 引言 随着计算机技术和网络技术的不断发展,信息技术水平不断得到提高。人类进入称为信息社会的二十一世纪后,诸如数字通信、数字多媒体、电子商务、搜索引擎、数字图书馆、天气预报、地质勘探、科学研究等海量数据型应用的涌现,各种信息呈现爆炸式的增长趋势,存储成为信息计算技术的中心。应用对存储系统的要求不断提高,存储容量不断升级,从GigaByte到TeraByte、 PetaByte、ExaByte,愈显巨大。图灵奖获得者Jim Gray提出一个新的经验定律:网络环境下每18个月生产的数据量等于有史以来的数据量之和。与此同时,现代企业对计算机的依赖性严重增强,信息数据逐渐成为企业赖以生存的基础,数据损坏或丢失将给企业带来巨大的损失。由于黑客、病毒、硬件设备的失效以及火灾、地震等自然灾害的原因,使系统和数据信息遭到破坏甚至毁灭,如果不及时地进行恢复,将对企业造成巨大的损失,所以备份容灾技术显得尤为重要。尤其,9.11等事件造成的灾难性后果使人们更加深刻地认识到数据信息的价值和意义,日益重视数据的保护。 在过去的20多年中,虽然计算机技术取得了巨大的发展,但是数据备份技术却没有长足进步。数据备份操作代价和成本仍然比较高,并且消耗大量时间和系统资源,数据备份的恢复时间目标和恢复点目标比较长。传统地,人们一直采用数据复制、备份、恢复等技术来保护重要的数据信息,定期对数据进行备份或复制。由于数据备份过程会影响应用性能,并且非常耗时,因此数据备份通常被安排在系统负载较轻时进行(如夜间)。另外,为了节省存储空间,通常结合全量和增量备份技术。 显然,这种数据备份方式存在一个显著的不足,即备份窗口问题。在数据备

存储器的发展与技术现状.

存储器的发展史及技术现状 20122352 蔡文杰计科3班 1.存储器发展历史 1.1存储器简介 存储器(Memory)是计算机系统中的记忆设备,用来存放程序和数据。计算机中的全部信息,包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。自世界上第一台计算机问世以来,计算机的存储器件也在不断的发展更新,从一开始的汞延迟线,磁带,磁鼓,磁芯,到现在的半导体存储器,磁盘,光盘,纳米存储等,无不体现着科学技术的快速发展。 1.2存储器的传统分类 从使用角度看,半导体存储器可以分成两大类:断电后数据会丢失的易失性存储器和断电后数据不会丢失的非易失性存储器。过去都可以随机读写信息的易失性存储器称为RAM(Randoo Aeeess Memory),根据工作原理和条件不同,RAM又有静态和动态之分,分别称为静态读写存储器SR AM(St ate RAM)和动态读写存储器DRAM(Dynamie RAM);而过去的非易失控存储器都是只读存储RoM(Readon一y Memo-ry),这种存储器只能脱机写人信息,在使用中只能读出信息而不能写人或改变信息.非易失性存储器包含各种不同原理、技术和结构的存储器.传统的非易失性存储器根据写人方法和可写人的次数的不同,又可分成掩模只读存储器MROM(Mask ROM)、一次性编程的OTPROM(one Time Programmable ROM)和可用萦外线擦除可多次编程的Uv EPROM(Utravio-let ErasableProgrammable ROM).过去的OT PROM都是采用双极性熔丝式,这种芯片只能被编程一次,因此在测试阶段不能对产品进行编程性检侧,所以产品交付用户后,经常在编程时才会发现其缺陷而失效,有的芯片虽然能被编程,但由于其交流性不能满足要求,却不能正常运行.故双极性熔丝式PROM产品的可信度不高. 2.半导体存储器 由于对运行速度的要求,现代计算机的内存储器多采用半导体存储器。半导体存储器包括只读存储器(ROM)和随机读写存储器(RAM)两大类。 2.1只读存储器 ROM是线路最简单的半导体电路,通过掩模工艺,一次性制造,在元件正常工作的情况下,其中的代码与数据将永久保存,并且不能够进行修改。一般地,只读

相关主题