存储系统原理介绍

-----------------RAID介绍概念

--------------RAID 0

RAID0 全称叫做 Striped Disk Array without Fault Tolerance( 没
有容错设计的条带磁盘阵列）。图中一个圆柱就是一块磁盘（以
下均是），它们并联在一起。从图中可以看出， RAID 0 在存储
数据时由 RAID 控制器（硬件或软件）分割成大小相同的数据条
，同时写入阵列中的磁盘。如果发挥一下想象力，你会觉得数据
象一条带子横跨过所有的阵列磁盘，每个磁盘上的条带深度则是
一样的。至于每个条带的深度则要看所采用的 RAID 类型，在
NT 系统的软 RAID 0 等级中，每个条带深度只有 64KB 一种选
项，而在硬 RAID 0 等级，可以提供 8 、 16 、 32 、 64 以及
128KB 等多种深度参数。 Striped 是 RAID 的一种典型方式，
在很多 RAID 术语解释中，都把 Striped 指向 RAID 0 。在读取
时，也是顺序从阵列磁盘中读取后再由 RAID 控制器进行组合。

--------------RAID 1
磁盘镜像

就是镜像――两个硬盘的内容完全一样，这等
于内容彼此备份。比如阵列中有两个硬盘，在
写入时， RAID 控制器并不是将数据分成条带
而是将数据同时写入两个硬盘。这样，其中任
何一个硬盘的数据出现问题，可以马上从另一个硬盘中进行恢复。
这两个硬盘并不是主从关系，也就是说是相互镜像 / 恢复的。


--------------RAID 2
目前已基本不再使用，转而以更高级的即时检验 RAID 所代替，如 RAID 3 、 5 等。

它采用了早期的错误检测与修正技术 ---- 汉明码
（ Hamming Code ）校验技术。
? 汉明码是一个在原有数据中插入若干校验码来进行错
误检查和纠正的编码技术。以典型的 4 位数据编码为
例，汉明码将加入 3 个校验码，从而使实际传输的数
据位达到 7 个（位）。
? RAID 2 是早期为了能进行即时的数据校验而研制的一
种技术（这在当时的 RAID 0 、 1 等级中是无法做到
的），从它的设计上看也是主要为了即时校验以保证
数据安全，针对了当时对数据即时安全性非常敏感的
领域，如服务器、金融服务等。但由于花费太大， 成
本昂贵，


------------------RAID-3 等级
异或运算

Parallel transfer with parity （并行传输及校验）
?
RAID 3 是在 RAID 2 基础上发展而来的，主要的变化是用相对简单的
异或逻辑运算（ XOR ， eXclusive OR ）校验代替了相对复杂的汉明
码校验，从而也大幅降低了成本。

-------------------RAID-4 等级

Independent Data disks with shared
Parity disk （独立的数据硬盘与共享的
校验硬盘）


-------------------RAID-5 等级
奇偶校验

RAID5 和 RAID4 相似但避免了 RAID4 的瓶
颈，方法是不用校验磁盘而将校验数据以循环
的方式放在每一个磁盘中

， RAID5 的控制比
较复杂，尤其是利用硬件对磁盘阵列的控制，
因为这种方式的应用比其他的 RAID level 要
掌握更多的事情，有更多的输出 / 入需求，既
要速度快，又要处理数据，计算校验值，做错
误校正等，所以价格较高，其应用最好是
OLTP ，至于用于大型文件，不见得有最佳的
性能。


------------------RAID 应用

RAID0 及 RAID1 最适合 PC 服务器及图形工作站的用户，提供最佳的性能及最便宜的价格，以低成本符合市场的需求。
RAID2 及RAID3 适用于大档案且输入输出需求不频繁的应用如影像处理及 CAD/CAM 等；而
RAID5 则适用于银行、金融、股市、数据库等大型数据处理中心的 OLTP 应用；
RAID4与 RAID5 有相同的特性及用方式，但其较适用于大型文件的读取。

-------------------磁盘存储阵列

--------------磁盘阵列原理
RAID 也就是磁盘阵列
? 磁盘阵列针对不同的应用使用的不同技术，称
为 RAID level ， RAID 是 Redundant Array of
Inexpensive Disks 的缩写，而每一 level 代
表一种技术，目前业界公认的标准是 RAID0
～ RAID5 。这个 level 并不代表技术的高低，
level5 并不高于 level3 ， level1 也不低于
level4 ，至于要选择哪一种 RAID level 的产品
，纯视用户的操作环境（ operating
environment ）及应用（ application ） 而定
，与 level 的高低没有必然的关系。


-----------------磁盘阵列的额外容错功能

一般的磁盘阵列系统都可使用热备份
（ hot spare or hot standby drive ）的
功能，所谓热备份是在建立
（ configure ）磁盘阵列系统的时候，
将其中一磁盘指定为后备磁盘，此一磁
盘在平常并不操作，但若阵列中某一磁
盘发生故障时，磁盘阵列即以后备磁盘
取代故障磁盘，并自动将故障磁盘的数
据重建（ rebuild ）在后备磁盘之上。


------------------大规模磁盘阵列存储系统

所谓大规模磁盘阵列存储系统，一般是指在一个存储系统中使用
总线结构或交叉点交换结构将多个存储子系统（磁盘阵列）连接
起来，并在总线中或交换结构中使用大容量的缓存和用于更多主
机连接的类似于通道集线器或交换机的主机连接模块，最后通过
复杂的存储管理软件组合成的大型的存储系统。这种存储系统可
以提供比单个小的磁盘阵列更大的容量和更高的性能。象采用总
线结构的 EMC 的 Symmetrix 系统在单个磁盘阵列的性能只能达
到 25 至 50M 字节 / 秒时，它的最高性能就可以到 100M 字节 /
秒，甚至在使用 RAID10 （磁盘镜像）时最高可到 200 至 300M
字节 / 秒。象采用总线结构和交叉点交换结构（最新的系统）日
立的两种存储系统，也可以到类似于 Symmetrix RAID10 的实际
性能。

----------------------相关磁盘阵列存储术语

--------------Array Spanning ：阵列跨越

阵列跨越是把 2 个， 3 个或 4 个磁盘阵列中的存
储空间进行再次整合，形成一个具有单一连续存储空间的逻辑驱
动器的过程。 RAID 控制器可以跨越连续的几个阵列，但每个阵
列必需由相同数量的磁盘组成，并且这几个阵列必需具有相同的
RAID 级别。就是说，跨越阵列是对已经形成了的几个阵列进行
再一次的组合， RAID 1 ， RAID 3 和 RAID 5 跨越阵列后分别
形成了 RAID 10 ， RAID 30 和 RAID 50 。



---------------Cache Policy ：高速缓存策略

RAID 控制器具有两种高速缓存策略，分别为 Cached I/O
（缓存 I/O ）和 Direct I/O （直接 I/O ）。缓存 I/O 总是采用读
取和写入策略，读取的时候常常是随意的进行缓存。直接 I/O 在
读取新的数据时总是采用直接从磁盘读出的方法，如果一个数据
单元被反复地读取，那么将选择一种适中的读取策略，并且读取
的数据将被缓存起来。只有当读取的数据重复地被访问时，数据
才会进入缓存，而在完全随机读取状态下，是不会有数据进入缓
存的。


-----------------Capacity Expansion ：容量扩展

在 RAID 控制器的快速配置工具中，设置虚拟容量
选项为可用时，控制器将建立虚拟磁盘空间，然后卷能通过重构
把增加的物理磁盘扩展到虚拟空间中去。重构操作只能在单一阵
列中的唯一逻辑驱动器上才可以运行，你不能在跨越阵列中使用
在线扩容。


-----------------Channel ：通道

在两个磁盘控制器之间传送数据和控制信息的电通路。

-----------------Hot Spare ：热备用

当一个正在使用的磁盘发生故障后，一个空闲、加电并待
机的磁盘将马上代替此故障盘，此方法就是热备用。热备用磁盘上不存
储任何的用户数据，最多可以有 8 个磁盘作为热备用磁盘。一个热备用
磁盘可以专属于一个单一的冗余阵列或者它也可以是整个阵列热备用磁
盘池中的一部分。而在某个特定的阵列中，只能有一个热备用磁盘。
当磁盘发生故障时，控制器的固件能自动的用热备用磁盘
代替故障磁盘，并通过算法把原来储存在故障磁盘上的数据重建到热备
用磁盘上。数据只能从带有冗余的逻辑驱动器上进行重建（除了 RAID 0
以外），并且热备用磁盘必须有足够多的容量。系统管理员可以更换发
生故障的磁盘，并把更换后的磁盘指定为新的热备用磁盘。


--------------------Hot swap Disk Module ：热交换磁盘模式

热交换模式允许系统管理员在服务器不断电和不中止网络服务的
情况下更换发生故障的磁盘驱动器。由于所有的供电和电缆连线都集成在服务器

的底板上，所以热交换模式可以直接把磁盘从驱动器笼子的插槽中拔除，操作非
常简单。然后把替换的热交换磁盘插入到插槽中即可。热交换技术仅仅在 RAID
1 ， 3 ， 5 ， 10 ， 30 和 50 的配置情况下才可以工作。

------------------I2O （ Intelligent Input/Output ）：智能输入输出

智能输入输出是一种工业标准，输入输出子系统的体系结构完全
独立于网络操作系统，并不需要外部设备的支持。 I2O 使用的驱动程序可以分为
操作系统服务模块（ operating system services module ， OSMs ）和硬件驱动
模块（ hardware device modules ， HDMs ）。


-------------------Initialization ：初始化

在逻辑驱动器的数据区上写零的操作过程，并且生成相应的奇偶
位，使逻辑驱动器处于就绪状态。初始化将删除以前的数据并产生奇偶校验，所
以逻辑驱动器在此过程中将一并进行一致性检测。没有经过初始化的阵列是不能
使用的，因为还没有生成奇偶区，阵列会产生一致性检测错误。


------------------IOP （ I/O Processor ）：输入输出处理器

输入输出处理器是 RAID 控制器的指令中心，实现
包括命令处理， PCI 和 SCSI 总线的数据传输， RAID 的处理
，磁盘驱动器重建，高速缓存的管理和错误恢复等功能。

-------------Logical Drive ：逻辑驱动器

阵列中的虚拟驱动器，它可以占用一个以上的物理
磁盘。逻辑驱动器把阵列或跨越阵列中的磁盘分割成了连续的存
储空间，而这些存储空间分布在阵列中的所有磁盘上。 RAID 控
制器能设置最多 8 个不同容量大小的逻辑驱动器，而每个阵列中
至少要设置一个逻辑驱动器。输入输出操作只能在逻辑驱动器处
于在线的状态下才运行。

-------------Mirroring ：镜像

冗余的一种类型，一个磁盘上的数据在另一个磁盘
上存在一个完全相同的副本即为镜像。 RAID 1 和 RAID 10 使
用的就是镜像。 Parity ：奇偶校验位
??
在数据存储和传输中，字节中额外增加一个比特位
，用来检验错误。它常常是从两个或更多的原始数据中产生一个
冗余数据，冗余数据可以从一个原始数据中进行重建。不过，奇
偶校验数据并不是对原始数据的完全复制。
??
在 RAID 中，这种方法可以应用到阵列中的所有磁
盘驱动器上。奇偶校验位还可以组成专用的奇偶校验方式，在专
用奇偶校验中，奇偶校验数据可分布在系统中所有的磁盘上。如
果一个磁盘发生故障，可以通过其它磁盘上的数据和奇偶校验数
据重建出这个故障磁盘上的数据。

-----------------Snapshot ：快照

快照 (Snapshot) 是静态映像 (Frozen Image) 的备
份技术，是一种保留某一时刻文件系统映像的技术，

其核心是对
备份和恢复过程采取“即时” (point-in-time) 数据拷贝的方式。
Snapshot 可以很快的产生多个当前数据的快照，这些快照可用
于数据备份，数据分析，数据恢复，以及提供给其它程序数据等。
与备份软件系统、镜像软件系统相比，它具有自己的特色：如可
以避免大数据量备份时长时间无法提供服务的问题，可以实现数
据的即时恢复，实时数据分析等特有功能。

----------------Power Fail Safeguard ：掉电保护

当此项设置为可用时，在重构过程中（非重建），
所有的数据将一直保存在磁盘上，直到重构完成后才删除。这样
如果在重构过程中发生掉电，将不会发生数据丢失的危险情况。





----------------FC 交换机和 SAN 存储

--------------Fibre Channel

大多数的存储域网络 (Storage-Area
Networks) 都是基于一个叫 Fibre
Channel(FC) 的体系结构。 FC 的发展是为了
解决服务器和存储设备之间通信的诸多要求的。
这些要求包括速度，容量，可靠性等等。目前
它能够实现 1Gbps 及 2Gbps 的速率。
它可以实现 100MB/sec 半工和 200MB/sec 全工的持续吞吐量。

--------------直连式存储 (Direct Attached Storage)

由于早期的网路十分简单，所以直连式存储得
到发展。由于使用 DAS ，存储设备与主机的
操作系统紧密相连，其典型的管理结构是基于
SCSI 的并行总线式结构。存储共享是受限的
，原因是存储是直接依附在服务器上的。从另
一方面看，系统也因此背上了沉重的负担。因
为 CPU 必须同时完成磁盘存取和应用运行的
双重任务，所以不利于 CPU 的指令周期的优化。


----------------网络存储设备 (Network Attached Storage)

局域网在技术上得以广泛实施，在多个文件服务
器之间实现了互联，为实现文件共享而建立一个统一
的框架。随着计算机的激增，大量的不兼容性导致数
据的获取日趋复杂。因此采用广泛使用的局域网加工
作站族的方法就对文件共享，互操作性和节约成本有
很大的意义。 NAS 包括一个特殊的文件服务器和存储。
NAS 服务器上采用优化的文件系统，并且安装有
预配置的存储设备。由于 NAS 是连接在局域网上的，
所以客户端可以通过 NAS 系统，与存储设备交互数据。
另外， NAS 直接运行文件系统协议，诸如
NFS ， CIFS 等。客户端系统可以通过磁盘映射和数据源建立虚拟连接。

---------------存储网络 (Storage Area Networks)

一个存储网络是一个用在服务器和存储资
源之间的，专用的，高性能的网络体系。它
为了实现大量原始数据的传输而进行了专门
的优化。因此，可以把 SAN 看成是对 SCSI
协议在长距离应用上的扩展。
SAN 使用的

典型协议组是 SCSI 和 Fibre
Channel(SCSI-FCP) 。 Fibre Channel 特别
适合这项应用，原因在于一方面它可以传输
大块数据 ( 这点类似于 SCSI) ，另一方面它
能够实现远距离传输 ( 这点又与 SCSI 不
同 ) 。


------------------iSCSI

iSCSI 正是集合了 Ethernet 和 IP 的开放
性， NAS 的文件级存取，基于 SAN 的块级存取这四
方面优点的混合产物。随着当今 IP 和 Ethernet 的激
增，用户可以采用与构建因特网相同的基础来支持他
们对存储网络的需求。服务器可以在运行 TCP/IP 的
以太网卡上安装开放的 iSCSI 驱动，从而能够存取位
于 Fibre-channel 上的 SAN 中的数据块。当今的用户
可以利用基于 TCP/IP 的 Ethernet 来无限制的扩大他
们的存储容量和带宽。 iSCSI 正是网络条件下的
SCSI-3 协议。

分析机构 Linley 近期对网络存储市场进行
调查研究后指出，光纤通道在 2007 年将被
基于其主要竞争技术 iSCSI 的 IP SAN 超过。
iSCSI 旺盛的生命力可见一斑。
对于具有如此美好前途的新技术，磁
带库当然不会拒绝。早在 2003 年四月份
Spectra Logic 就推出了支持 iSCSI 的磁带
库，如今有越来越多的磁带库厂商都支持iSCSI.

------------------FCIP

FCIP(Fibre Channel over IP) 是在 TCP/IP
上用管道技术来实现 Fibre Channel 的受推荐
标准。它采用封装技术将 Fibre Channel 协议
封装在 IP 包中，以使它能够通过 IP 网。已经
拥有 Fibre Channel 网的用户可以通过调节他
们已经存在的 SAN 以使它们能够扩展到城域
网和广域网。 FCIP 正是这样一种将多个
Fibre Channel 孤岛连接起来的手段。



----------------SAN 的应用


数据共享 -- 由于存储设备的中心化，大量的文件服务器可以
低成本的存取和共享信息，而同时也不会使系统性能有明显的下
降。
存储共享 -- 两个或多个服务器可以共享一个存储单元，这个
存储单元在物理上可以被分成多个部分，而每个部分又连接在特
定的服务器上。
数据备份 -- 通常的数据备份都要依赖于共同的局域网或广域
网设备。通过使用 SAN ，这些操作可以独立于原来的网络，从
而能够提高操作的性能。
灾难恢复 -- 传统上，当灾难发生时，使用的是磁带实现数据
恢复。通过使用 SAN ，可以采用多种手段实现数据的自动备份。
而且这种备份是热备份形式，也就是说，一旦数据出错，立即可
以获得该数据的镜像内容。


-----------------------------备份带库

---------------磁带库基础

从应用的角度，磁带库大体上可以分为两类
：大型机自动磁带库和开放系统磁带库。前者
使用专有技术的磁带机，后者大多使用开放式
磁带机，也有为了提高整体磁带库性能而采用
专有

技术磁带机和开放式磁带机混装的情况。
大型机磁带库之间与其服务的大型机直接
连接，而开放系统磁带库既可以直接与服务器
连接，也可以连接到存储区域网（ SAN ）之
中。在一个典型的 SAN 中，磁带库是必不可
少的设备。


------------------虚拟磁带库

近期出现了一种改变磁带存储系统的技术 ?D 虚拟
带库。虚拟带库将磁盘空间模拟成磁带，在传统的磁带备份系统
中，数据直接从应用系统传输到磁带中，使用虚拟带库以后，数
据首先备份到虚拟带库即磁盘中，然后由虚拟带库再备份到磁带
上。对于应用系统来说，就像直接备份到磁带一样。
将虚拟磁带库集成到现有的磁带库系统中具有很多
优势。首先，由于它利用了基于硬盘的技术，因此每一位担心不
能在维护窗口时间内完成备份的人都有喜欢它的理由。其次，任
何一位拥有备份和恢复软件巨额投资的经理，无需改变已有的处
理过程就可以使用这种速度更快的技术。此外，由于备份数据可
以在任何时间从虚拟磁带传送到物理磁带媒介，因此，空出了虚
拟硬盘供下一轮备份。




-------------------分级存储

------------分级存储的必要性

数据分级存储（ HSM ），是指数据客体存放在不同
级别的存储设备（磁盘、磁盘阵列、光盘库、磁带
库）中，通过分级存储管理软件实现数据客体在存储
设备之间的自动迁移。数据迁移的规则是可以人为控
制的，通常是根据数据的访问频率、保留时间、容量
、性能要求等因素确定的最佳存储策略。在分级数据
存储结构中，磁带库等成本较低的存储资源用来存放
访问频率较低的信息，而磁盘或磁盘阵列等成本高、
速度快的设备，用来存储经常访问的重要信息。
数据分级存储的工作原理是基于数据访问
的局部性。通过将不经常访问的数据自动移到存储层
次中较低的层次，释放出较高成本的存储空间给更频
繁访问的数据，可以获得更好的总体性价比。

--------------分级存储的优点

减少总体存储成本
不经常访问的数据驻留在较低成本的存储器中，可
综合发挥磁盘驱动器的性能优势与磁带的成本优势。
2 ．性能优化
分级存储可使不同性价比的存储设备发挥最大的综合效益。
3 ．改善数据可用性
分级存储把很少使用的历史数据迁移到辅助存储器中，或归档到离线存储池中，这样就无需反复保存，减少了存储
的时间；同时提高了在线数据的可用性，使磁盘的可用空间维持在系统要求的水平上。
4 ．数据迁移对应用透明
进行分级存储后，数据移动到另外的存储器时，应
用程序不需要改变，使数据迁移对应用透明

。


----------------分级存储的存储方式

在线存储
在线存储多采用高速磁盘阵列等存储设备，存取
速度快，价格昂贵。在线存储一般采用高端存储系统
和技术如： SAN 、点对点直连技术、 S2A 等。
离线存储
离线存储采用磁带作为存储介质，其访问速度低
，但能实现海量存储，同时价格低廉。
近线存储
随着用户需求的日益细分，人们越来越发现原有
的两级模式（在线与离线）已经不能很好地满足用户
的存储需求，在这两个“极端”之间有大量的空白，
于是就产生了近线存储的概念。

-----------分级存储的管理

分级存储管理（ Hierarchical Storage Management ，
HSM ） 起源于 1978 年，首先使用于大型机系统。
近 10 年来， HSM 被广泛应用于开放系统的 Unix 和
Windows 平台。
? 分级存储管理是一种将离线存储与在线存储融合的技
术。它将高速、高容量的非在线存储设备作为磁盘设
备的下一级设备，然后将磁盘中常用的数据按指定的
策略自动迁移到磁带库等二级大容量存储设备上。当
需要使用这些数据时，分级存储系统会自动将这些数
据从下一级存储设备调回到上一级磁盘上。对于用户
来说，上述数据迁移操作完全是透明的，只是在访问
磁盘的速度上略有怠慢，而在逻辑磁盘的容量上明显
感觉大大提高了。


----------------系统灾难备份

可以将容灾系统分为：数据容灾和应用容灾。

---------------数据容灾
采用硬件进行远程数据复制，存储工程师称为硬件复制技术。
另一种技术是：采用软件系统实现远程的实时数据复制，并且实现远程的全程高可用体系（远程监控和切换）。
数据容灾：在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。该数据可以是
与本地生产数据的完全实时复制，也可以比本地数据略微落后，但一定是可用的。

--------------应用容灾
应用容灾:建立这样一个系统相对比较复杂，不仅需要一份可用的数据复制，还要有包括网络、主机、应用、甚至 IP 等资源，
以及各资源之间的良好协调。
应该说是真正意义上的容灾系统。

-------------同步传输的数据复制
同步数据容灾是指在异地建立起一套与本地数据实时同步的异地
数据。采用同步数据传输方式时，本地系统必须等到数据成功的
写到异地系统，才能进行下一个 I/O 操作。

--------------异步数据复制方式

异步数据容灾是在“线路带宽和距离能保证完成数据复制过
程，同时，异地数据复制不影响生产系统的性能”这样的要求下
提出来的。
与同步传输方式相比，异步传输方式对带宽和距离的要求

低
很多，它只要求在某个时间段内能将数据全部复制到异地即可，
同时异步传输方式也不会明显影响应用系统的性能。其缺点是在
本地生产数据发生灾难时，异地系统上的数据可能会短暂损失
（如果广域网速率较低，交易未完整发送的话），但不影响一致
性（类似本地数据库主机的异常关机）。

--------------灾难备份需求的衡量指标

------------RTO (Recovery Time Objective)
RTO ， Recovery Time Objective ，是指灾难发生后
，从 I/T 系统当机导致业务停顿之刻开始，到 IT 系统
恢复至可以支持各部门运作，业务恢复运营之时，此
两点之间的时间段称为 RTO 。

------------RPO (Recovery Point Objective)

RPO ， Recovery Point Objective ，是指从系统和应
用数据而言，要实现能够恢复至可以支持各部门业务
运作，系统及生产数据应恢复到怎样的更新程度。这
种更新程度可以是上一周的备份数据，也可以是上一
次交易的实时数据。



------------------IP SAN 系统设计

目前，许多网络存储提供商致力于将 SAN 中使用的光
纤通道（ FC ）设定为一种实用标准，但是其架构需
要高昂的建设成本，远非一般企业所能够承受。与之
相比， NAS 技术虽然成本低廉，但是却受到带宽消耗
的限制，无法完成大容量存储的应用，而且系统难以
满足开放性的要求。 iSCSI 在避开了传统 NAS/SAN
差别之后的以网络为中心的新存储方案（开放存储网
络）中同时享受到 NAS 和 SAN 拓扑结构的优势。
“ iSCSI” （互联网小型计算机接口）标准把存储设备
和服务器与应用普通互联网协议建立起来的网络结合
在了一起，而不是使用速度更快但是价格更昂贵、更
复杂的光纤通道技术，为众多中小企业对经济合理和
便于管理的存储设备提供了直接访问的能力。


---------------IP 存储发展

随着网络存储技术的飞速发展，各种存储设备
和技术正趋于融合。现在的光纤和 SCSI 磁盘
阵列、 NAS 文件服务器、磁带库等设备都可
以运行在一个统一标准的架构中。 IP 存储
（ Storage over IP 简称为 SoIP ） ---- 在 IP
网络中传输块级数据 ---- 使得服务器可以通过
IP 网络连接 SCSI 设备，并且像使用本地的
设备一样，无需关心设备的地址或位置。而网
络连接则是以 IP 和以太网为骨干，以廉价而
成熟的 IP 和以太网技术，替代了光纤通道技
术。