华为OceanStor 9000方案建议书

资料编码

OceanStor 9000技术建议书模板

文档版本V1.0

发布日期201401

版权所有? 华为技术有限公司2014。保留一切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司

地址：深圳市龙岗区坂田华为总部办公楼邮编：518129

网址：https://www.sodocs.net/doc/886566296.html,

客户服务邮箱：support@https://www.sodocs.net/doc/886566296.html,

客户服务电话：0755-******** 4008302118

客户服务传真：0755-********

目录

1概述 (5)

1.1 项目背景 (5)

1.2 现网状态 (5)

1.3 建设规模及目标 (6)

2设计依据及原则 (8)

2.1 方案设计依据 (8)

2.2 方案设计原则 (8)

3系统设计方案 (10)

3.1 客户面临问题及典型需求 (10)

3.2 系统设计方案 (11)

3.3 拓扑结构 (12)

3.4 软硬件配置说明 (13)

4方案特点及优势 (15)

4.1 弹性扩展 (15)

4.2 卓越性能 (16)

4.3 数据可靠 (17)

4.4 简化管理 (19)

5相关产品介绍 (21)

5.1 产品概述 (21)

5.2 产品形态介绍 (21)

5.3 产品规格表 (23)

6缩略语表 (26)

2015-3-10 华为保密信息,未经授权禁止扩散第3页, 共26页

修订记录/Change History

2015-3-10 华为保密信息,未经授权禁止扩散第4页, 共26页

1 概述

本节对项目建设背景进行阐述。

1.1 项目背景

首先说明项目的背景情况。

【样例】

随着xxx业务的逐渐发展，以及业务数据量不断的增大，xxx目前的IT系统已经无法满足其业务增长的需求。原先存放在服务器本地硬盘中的数据，无论在可靠性、容量还是性能方

面都无法满足业务要求。因此，建设一套集中存储系统迫在眉睫。集中存储方式，不仅可以解

决数据无法共享、本地扩容出现瓶颈等问题，还可以使业务系统的性能得到大幅提升、业务数

据的安全性得到更为有效的保障……

1.2 现网状态

在对现网结构介绍时最好附上网络结构图。说明现网已有的设备数量及类型。

【样例】

XXX网络中存储了大量非结构化数据，这些数据存储在多个不同的存储设备中，包括SAN 和NAS，支持集群组网。上层业务包括网盘、Email、OA等10余种，涉及的操作平台有Windows、

Linux、UNIX，对关键业务进行数据备份，对长期不用的数据进行归档。

现网结构图如下：

现网设备统计情况如下表所示：

表1现场设备统计

1.3 建设规模及目标

建设目标是指要建成什么样的新网络。

【样例】

XXX本次新建的主要业务系统有xx、xx等十余种，涉及的操作系统平台有Windows、Linux、Unix。目前部分业务系统的数据还存放在服务器本地硬盘中，本方案对所有业务系统进行集中

存储的建设，将XXX的所有业务系统都集中存储在OceanStor 9000系列中……

根据XXX的存储需求进行分析：

1) 该局点主要应用是多种业务系统数据的海量数据存储，在数据中心放置OceanStor 9000，

将所有业务系统的非结构化数据集中存储在OceanStor 9000上，数据存储量预估在

500TB；

2)每天都有约100 GB ~ 500 GB的数据增量，本次建设需要考虑未来三年内的容量需求，

并要求存储系统具备高扩展性，满足未来相当长时间内的扩容需求；

3)数据量扩展时需满足业务增多所带来的并发增大的需求，也就是说，容量扩展时，并发量

需要增大，整体性能得到提升；

4)该存储系统能够支撑后期多种业务类型接入，存储非结构化数据；

……

2015-3-10 华为保密信息,未经授权禁止扩散第6页, 共26页

2015-3-10 华为保密信息,未经授权禁止扩散第7页, 共26页

2 设计依据及原则

本节对解决方案的设计依据及原则做简单描述。可以根据情况进行合并。

2.1 方案设计依据

描述方案的设计依据。

【样例】

本技术建议书完全按照《XXX招标规范书》为设计依据进行系统方案的设计……

2.2 方案设计原则

本节介绍述方案的设计原则。

【样例】

通过对用户需求的了解，结合XXX系统的应用特点，建议用户存储系统在建设过程中应当遵循如下原则进行：

安全可靠性原则

●系统支持分布式架构

●系统支持从硬件层面，数据层面到业务层面高可用，满足可用性原则；

●系统支持存储系统集群，满足高可靠性需求；

●系统具备充分的数据冗余，数据容错能力；

●系统具有专业的技术保障体系以及数据可靠性保证机制；

●系统在存储节点损坏时（包括硬盘，机柜的故障），不会丢失数据；

●系统在发生数据损坏时，有数据自愈能力；

●对工作环境要求较低，环境适应能力强；

●确保系统具有高度的安全性，提供安全的登录和访问措施，防止系统被攻击；

●异常掉电后不丢失数据，供电恢复后自动重新启动并自动恢复正常连接；

●系统器件选择要考虑能支持7×24小时连续长时间大压力下工作；

XXX 项目技术建议书模板

文档密级：内部公开

2015-3-10 华为保密信息,未经授权禁止扩散 第9页, 共26页

扩展性原则

● 系统易于扩展，支持10PB 级数据存储； ● 系统在容量扩展时，性能得到提升；

●

系统选择标准化的部件，利于灵活替换和容量扩展；

先进性原则

● 系统必须严格遵循国际标准、国家标准和国内通信行业的规范要求； ● 需符合存储技术以及IT 行业的发展趋势，所选用的产品型号已规模上量； ● 所有的系统处于先进的技术水平，确保较长时间内技术上不落伍；

●

系统的处理能力要达到业内领先，对于本次业务的使用要留有一定的余量，以满足后续升级的需求；

开放性原则

● 系统必须支持国际上通用的标准网络存储协议、国际标准的应用开放协议； ● 与主流服务器之间保持良好的兼容性； ● 兼容各主流操作系统及应用程序；

● 可以与第三方管理平台集成，提供给客户定制化的管理维护手段； ●

满足今后的发展，留有充分的扩充余地；

易维护性原则

● 系统支持简体中文，通俗易懂，操作方便、简单；

● 系统具有充分的权限管理，日志管理、故障管理，并能够实现故障自动报警； ● 系统设备安装使用简单，无需专业人员维护； ● 系统容量可按需要在线扩展，无需停止业务； ● 系统功能扩充需要升级时，支持不中断业务升级； ●

支持图形化界面管理方式；

经济性原则

●

综合考虑集中存储系统的性能和价格，最经济最有效地进行建设，性能价格比在同类系统和条件下达到最优。

绿色性原则

● 满足环保与节能的要求，噪声低、能耗低、无污染； ● 必须选用无铅器件； ● 有节能降耗的技术手段；

●

具备环境管理认证，符合环保规定，包材可回收，支持重复利用；

3 系统设计方案

本节对设计方案做详细描述。各小节可以根据情况进行合并和删改。

随着IT的发展，非结构化数据量急剧增多，业务种类日新月异，对存储系统的可靠性和可扩展性提出了更高的要求，传统存储已经不能满足其需求，华为技术有限公司深刻分析客户

的需求，推出了大数据存储产品OceanStor 9000，帮助客户解决正在面对或者即将面对的问题。

OceanStor 9000提供海量存储空间，最大40PB的单一文件系统，可承载多种业务接入，它对

外提NAS访问接口，与应用结合，形成多种解决方案，适用多种场景。该项目的方案如下：3.1 客户面临问题及典型需求

随着xxx业务的快速发展，各种各样的应用在新的环境下催生，数据量呈爆炸式增长，对存储的性能和容量提出了新的要求。这些改变给xxx客户带来了新的变化：

1)非结构化数据增长迅速，生产数据总量现在已经达到xxxTB，现有业务系统存储压力大，

不能够横向扩展，扩容成本高；

2)每天新产生的数据量约为xTB，数据增长迅速，急需扩容；

3)存储数据的来源越来越多样化，对数据可靠性提出更高的要求，在满足数据可靠性的同

时，还需要平衡硬盘利用率，避免牺牲大量的存储空间（原始数据几倍的存储空间）来

满足数据可靠性要求；

4)多种业务系统，需要数据共享，多套存储系统空间不能共用，管理复杂，需要多个IT管

理人员维护多套不同的存储设备和网络，TCO急剧上升；

5)随着存储设备的增多，维护成本居高不下；

6)存储设备长时间工作，本身功耗不低，同时还有机房工作温度，散热等需求，导致数据

中心电费持续上升

在这种情况下，人们迫切需要一种新的存储模式和存储设备来解决这些问题。人们希望新一代的存储能够具备以下特征：

1)能够支撑海量数据的存储，具有横向扩展能力；

2)存储容量不断扩展的同时，性能随节点数增多而增加；

3)能够存储多种业务的数据，实现数据共享；

4)高可靠的数据存储；

5)能够满足自动精简配置，空间弹性扩展；

6)存储管理相对简单；

7)高效节能的存储设备

3.2 系统设计方案

针对以上问题和需求，OceanStor 9000提供了分布式存储解决方案。该方案面向种类繁多的文件存储上层业务，为客户提供存储多种类型业务数据的方案。该方案要求与其对接的上

层业务遵循接口规定，方案的具体描述如下：

1)OceanStor 9000提供统一命名空间的存储系统，多种业务的数据都存储在这个统一的存

储空间中，包括文件，视频，图象等多种类型的业务数据存储；

2)采用OceanStor 9000存储设备，以低配置3节点起步，采用全对称分布式架构设计，轻

松实现容量扩展，满足日益发展的业务系统的存储要求，与业务需求相匹配；

3)容量扩展的同时，性能同步提升，避免因为数据量增多而产生的性能瓶颈；

4)支持在线扩容，容量扩展的同时，保证不会中断业务，并且支持多个节点批量扩容；

5)整系统采用集群部署和Erasure code数据保护策略，支持N+1到N+4的数据可靠性保障，

以及故障自动检测、修复技术，保障系统可靠性；

6)OceanStor 9000对外提供NAS接口，支持NFS和CIFS协议共享，适应多种应用场景，例

如：支持和文件业务对接，和图片业务对接等；

7)每种业务对存储空间的需求不同，OceanStor 9000天然支持Thin Provisioning实现空

间弹性扩展，满足不同业务的存储需求，同时不会造成空间定额分配造成的浪费；

8)对设备管理员，提供WEB UI管理工具，统一管理存储设备。

OceanStor 9000有几种类型的节点，文件系统元数据采用SSD技术，为元数据访问提升访问效率，并降低整体延迟，节点可以并存于一套存储系统中（Performance node和Capacity

node，或Performance node和Mini-capacity node），提供统一命名空间，根据不同的应用

场景配置不同数量、不同类型的节点，并可实现不同类型节点间数据的分级存储，降低TCO。

节点类型如下：

Performance node：是超高性能主存储的解决方案，应用于OPS密集型的应用场景。

2015-3-10 华为保密信息,未经授权禁止扩散第11页, 共26页

Capacity node/ Mini-capacity node：适用于高带宽型的大文件读写应用场景，完美平衡存储系统大容量和高性能。

本次方案，主要是XXX应用场景，根据实际业务需求，存储系统需要裸容量xxxTB，性能需xxxx。根据该容量和性能要求，本次存储系统配置x台Performance node和x台Capacity node，裸容量达到xxx，冗余配比按照N+M，可用容量为xxx，性能达到xxx，满足xxx客户目

前xxx

业务系统的容量和性能需求。

整体方案架构如图所示：

错误！文档中没有指定样式的文字。OceanStor 9000整体方案架构

3.3 拓扑结构

系统支持多种组网模式，内外部组网均支持10GE Ethernet或40GE Infiniband或1GE Ethernet组网，可根据项目和业务的需求进行灵活选择。系统初期建设配置x台Performance

node和x台Capacity node，随着业务的发展，平滑扩容至10PB以上。存储网络拓扑结构如

下图所示：

2015-3-10 华为保密信息,未经授权禁止扩散第12页, 共26页

图表 1 存储网络拓扑结构图

其配置特点如下：

●所有关键业务集中存储，并支持多协议共享

●内外部组网均采用10GE ethernet，特有的TOE网卡和RDMA技术，提高访问效率

●支持客户端连接负载均衡、配额管理

●自动分级存储，热点数据存储在Performance node，非热点数据存储在C节点

●……

3.4 软硬件配置说明

2015-3-10 华为保密信息,未经授权禁止扩散第13页, 共26页

图表 2 配置说明

2015-3-10 华为保密信息,未经授权禁止扩散第14页, 共26页

4 方案特点及优势

作为横向扩展存储，OceanStor 9000面向大数据存储市场应对大数据挑战，该场景下业务多变，数据飞速增长，数据安全性要求日益提高，对存储系统提出了较高的要求。OceanStor

9000具备弹性空间、卓越性能、简化管理和高可靠性等特点，有效应对大数据时代的挑战，

降低企业CAPEX和TCO。

4.1 弹性扩展

传统存储系统，无论是较早的单体式（Monolithic）还是现在的模块化（Modular）架构，都基于向上扩展（Scale-up）的设计，这种模式要求以增加处理器等运算资源进行升级以获得

对应用性能的要求，往往成本会大于部署大量相对便宜的设备来实现性能的提升。而且这种提

高受到上限的制约，来自磁盘数量、连接数量、缓存大小、控制器数目等方面的约束使得

Scale-up架构存在很大的局限性。因此，现在的存储设备大多采用Scale-out存储架构。企

业可以根据需求增加不同的服务器和存储应用，依靠多部服务器、存储协同运算，借负载平衡

及容错等功能来提高运算能力及可靠性。它不再采用集中化的内存和大型控制器模式，而是使

用一个个独立的模块，每个模块都具有自己的处理单元、缓存、主机接口和系统。当性能或容

量需求发生改变时可以很方便的进行调整，且当增加或者删减模块的时候可以按照比例增加或

者减少缓存、处理能力、磁盘和带宽，以维持资源最优。这样整个存储系统将变得更加敏捷、

稳定且更具扩展性。

OceanStor 9000采用Scale-out存储架构，将海量数据压力分散到多个并发存储节点，数据和元数据均匀分布于各个节点上，避免资源争用，系统性能（吞吐量）按照比例扩展，并

且各个存储节点之间负载均衡，有效避免单节点性能瓶颈。这种架构，不仅保持了对象存储系

统高可靠、高性能的优点，而且使得OceanStor 9000系统具有更好的扩展性。OceanStor 9000

通过Scale-out架构，轻松实现容量扩展，可实现从3节点到288节点的轻松扩容。

OceanStor 9000能够根据业务增长进行平滑扩容，系统每增加一个存储节点，都能够自动识别，单节点扩容更是小于60秒，将该存储空间加入到整系统中，并根据负载均衡的原则，

优先选择新的节点存储，从而简化了系统扩容的管理，降低了操作成本。扩容时容量和性能支

持线性扩展，最大可提供40PB规模的单一文件系统，真正实现“应需而变”，为业务的长期

高性价比提供保障。

4.2 卓越性能

OceanStor 9000提供业界领先的NAS读写性能，OPS最大可突破500万，而系统总带宽可达200GByte/s，可充分满足媒体编辑和高性能计算等领域的性能要求。

OceanStor 9000性能提升的关键技术包括：

4.2.1 SSD加速和自动分级存储

SSD硬盘可解决数据读写性能的瓶颈，提供低延迟和高吞吐量。OceanStor 9000采用SSD 硬盘存储元数据，加速元数据访问效率，提升处理能力。

此外OceanStor 9000的动态分级存储软件（InfoTier）可自动识别小文件和热点数据，根据信息在不同的阶段对于业务的价值不同，通过智能的I/O热度统计，可以精确挖掘数据内

在价值，根据热度在系统内不同存储介质之间进行数据迁移，从而将数据进行合理的分布，将

高Value的数据自动分布到高级别的存储介质上，而将低Value的数据自动迁移到更加廉价的

介质上，提升资源利用率。而这一切都在业务未曾感知的情况下自动完成。

InfoTier软件通过细粒度数据统计和自动迁移，并可根据业务特点设置不同的策略，可基于文件属性（路径，文件名，创建时间，访问时间，修改时间，大小，UID/GID）和访问频

率策略。InfoTier软件可提升热点数据的存储性能，使高价值硬盘得以更充分的利用。统计

周期设置是否合理对冷热数据分析结果影响较大，应尽可能选择能真实反映数据整体访问频度

的周期。

4.2.2 全局缓存

数据在缓存中的读写速度远高于硬盘，但单节点的缓存提升空间有限。同时如果各节点的缓存相互独立，则缓存命中率难以提升，数据的一致性保证机制也会趋于复杂。

OceanStor 9000通过全局缓存模式，整合所有节点缓存，容量最大可达55TB的虚拟缓存池。同一文件的数据在缓存池只缓存一份，任意节点均可命中，有效提高数据访问命中率，减

少硬盘读写次数，降低访问时延，提升系统整体性能。

4.2.3 高速互联

OceanStor 9000支持10GE高速以太网，单个节点可提供4个10GE端口。OceanStor 9000还同时支持IB（InfiniBand）网络，带宽高达40Gbit/s，可满足更加苛刻的性能要求。

OceanStor 9000可适配用户的不同组网需求，通过节点间高速互联，降低系统内部时延，提供卓越性能。

2015-3-10 华为保密信息,未经授权禁止扩散第16页, 共26页

4.2.4 并发访问

传统的NAS系统由引擎和存储单元组成。数据的全部并发访问需要先由NAS引擎处理，因此引擎容易成为性能瓶颈。OceanStor 9000采用全对称的逻辑架构，每个节点均可提供业务

服务。通过负载均衡设计，数据访问在集群内均匀分布，可大幅提升系统并发访问能力。4.3 数据可靠

随着IT的发展，人们日益认识到数据是公司最重要的资产，一旦数据丢失，对公司的影响是不可估计的，人们越来越注重数据保护。OceanStor 9000采用业界最高水平的数据保护

机制，保证数据的高可靠性：

4.3.1 Erasure Code

OceanStor 9000采用Erasure Code保障数据一致性，确保海量数据存储场景下的数据安全可靠。Erasure Code是RAID的超集，能够支持比传统RAID算法更高的可靠性和更灵活的

冗余策略，其设计思路是对文件进行原始分片（N份），通过纠错编码生成M个冗余校验块文

件。写入时，由客户端进行切片（N）和转码（M），一共生成N+M份数据，存储系统自动从各

存储节点中选择一个硬盘组成一个N+M个磁盘的磁盘组，分别写入N+M份数据。任意一份数据

损坏的情况下，可以通过其它数据恢复，最大可以支持M份数据的损坏。

OceanStor 9000采用Erasure Code算法保障数据可靠性，将N+M份数据保存在N+M个不同的虚拟节点上，其中N支持2-16，M支持1/2/3/4。可以看出，它最大可以支持4份数据同

时损坏，并且可以通过其它数据分片，恢复原始数据，而不影响系统业务的连续性，数据保护

性强于传统的RAID5（只允许一份数据损坏）、RAID6（只允许两份数据损坏）。如下图所示：2015-3-10 华为保密信息,未经授权禁止扩散第17页, 共26页

2015-3-10 华为保密信息,未经授权禁止扩散 第18

页, 共26页

图表 3 Erasure Code 原理说明图

OceanStor 9000分布式存储系统专门针对小文件存储进行了优化。如果配置了N+M 的保护方式，当一个文件的数据量不超过一个分片大小时，系统会自动将其转化为1+M 份的存储方式，当数据量超过一个分片大小，系统才会对它进行校验计算。这种优化，可以提高小文件的读写性能和存储利用率。

4.3.2 元数据高可靠

OceanStor 9000的分布式文件系统的元数据，采用存储多份副本的方式，并且对于配置了N+M保护方式的文件来说，其元数据的保存份数自动设定为M+2份，这使得OceanStor 9000

分布式存储系统的元数据的可靠性高于其数据。

4.3.3 数据自愈

OceanStor 9000分布式存储系统采用的InfoProtector技术，是华为公司的专利技术。

InfoProtector可以提供最多同时故障4个全节点的数据保护。并且硬盘故障时，

InfoProtector确保将单个故障盘的重新构建时间缩至最短，达到1TB数据只需要1小时恢复

时间,优于友商的数据恢复速度。

数据存储时被分片打散到多个存储节点上，这些分片数据支持分布在不同的存储节点之间。

在数据发生故障导致数据不一致时，OceanStor 9000通过内部的自检机制，自动发现数据故

障。发现故障后启动数据修复机制，在后台修复数据。由于数据被分散到多个不同的存储节点

上保存，数据修复时，在不同的节点上同时启动修复，每个节点上只需修复一小部分数据，多

个节点并行工作，有效避免单个节点修复大量数据所产生的性能瓶颈，对上层业务的影响做到

最小化。

4.4 简化管理

OceanStor 9000支持可视化自动部署，提供了专门的网管管理工具，它支持WEB UI形式，可以方便的显示所有设备的组网结构，所有设备的容量，CPU，内存等信息，以及所有进程的

运行状态，业务的运行状态，实时展示系统性能信息，保存和查询操作日志。管理维护高效集

中，简洁易用。管理员可以通过集群内任意节点访问网管界面，完成对硬件、软件、集群和业

务的统一管理。单个节点故障不影响网管的正常登录和使用。

4.4.1 自动精简配置（Thin Provisioning）

客户侧有多种应用的情况时，可能出现某些应用存储的数据空间已经饱和，另一些应用存储的数据空间几乎没怎么使用，空间浪费率极高。OceanStor 9000自动支持Thin Provisioning，

可以按照客户需要为客户配置存储空间，并且这个空间是动态分配的，支持弹性扩容，实际需

要使用多少空间，OceanStor 9000就为它分配多少空间，客户存储的数据容量增长时，分配

的空间也弹性增长，为客户解决了在项目初期为不同应用精确存储空间规划的苦恼，也有效避

免了资源浪费。

4.4.2 精细化配额管理

OceanStor 9000可实现对存储空间的细化管理。支持按照用户、用户组或目录的配额管理和配置，并且支持嵌套的配额管理，便于资源管理。OceanStor 9000的InfoAllocator特性包括：

基于目录的配额：管理员可以针对为空的共享目录设置配额，限制该目录的最大可用存储空间。

2015-3-10 华为保密信息,未经授权禁止扩散第19页, 共26页

基于用户/用户组的配额：管理员可以对任意用户/用户组设置配额，限制该用户/用户组可以使用的最大可用存储空间。

2015-3-10 华为保密信息,未经授权禁止扩散第20页, 共26页