IDC大数据中心机房建设方案设计

数据中心建设方案

综述

IDC作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解，IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说，IDC是个高品质机房，在其建设方面，对各个方面都有很高的要求。

IDC的总体结构如下图所示:

IDC的建设主要在如下几个方面：

网络建设

IDC主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其- AN、WAN和与Internet接入等方面。

IDC的网络建设主要有：

- IDC的- AN的建设，包括其- AN的基础结构，- AN的层次，- AN的性能。

- IDC的WAN的建设，即IDC的各分支机构之间相互连接的广域网的建设等。

- IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC 为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。

- IDC与Internet互联的建设。

- IDC的网络管理建设，由于IDC的网络结构相当庞大而且复杂，要保证其网络不间断对外服务，而且高性能，必须有一高性能的网络管理系统。

服务器建设

IDC的服务器建设可分为多个方面，总体上分为基础服务系统服务器和应用服务系统服务器，主要有：

- 基础系统服务器：这类服务器是保障IDC为用户提供各种服务的前提，这类服务器有DNS服务器、目录服务器、网络管理服务器、防火墙服务器、各类安全服务器、IDC系统性能监控服务器等等。

- 数据库服务器：它是保证IDC可以为用户提供各种应用服务的基础，IDC的数据库服务器必须能支持大容量访问、多种数据库等。

- 数据备份服务器：它是IDC为客户提供安全服务的内容之一，保证客户的数据安全可靠。由于IDC的服务器种类繁多、有多种数据库，所以数据备份要支持多机型、多种数据格式等等，而且容量要大。

- 应用服务器：是IDC为用户提供相关应用服务的服务器。由于IDC的业务扩展，所以应用服务器应具有很好的扩展性，以及支持各类应用软件的数量要多。

- 服务器的负载均衡：这是IDC提供高性能、高可靠性服务的重要方法之一，服务器的负载均衡可由硬件设备（如网络交换设备）或软件的方法实现。

存储系统的建设

存储系统是IDC的重点建设内容之一，作为一个IDC，其存储系统是相当庞大的，特别是在现在的企业中，数据的容量以由GB级增长到TB级，如此大的数据需要有一个更加安全、可靠的存储系统，由于访问的数量也是相当庞大的，所以对存储系统的效率也有很高的要求；而且存储系统应具有很好的扩展性，以满足IDC的发展的需求。

软件系统的建设

软件系统的建设是IDC需要大量投入的方面，它是在前面网络、服务器和存储系统建设的基础上，IDC开展对外服务的手段。IDC在软件建设的主要有：

- Web系统：IDC开展Web-Hosting服务内容之一，Web系统软件应支持在一个系统上能建立为多家企业服务的Web系统功能等。

- 电子邮件系统：电子邮件系统应支持多种电子邮件协议，如SMTP、POP3、IMAP4、Web-Mai- 和Voice-Mai- 等，同时电子邮件系统应有很好扩展性等。

- 数据库系统：IDC应建立多厂家的数据库系统，如应有Orac- e、Informix、SQ- Server、SyBase等厂家的数据库，以满足不同用户的需求。

- 安全系统：如防火墙软件（硬件防火墙除外）、防黑客入侵、防病毒软件等。这是保证IDC为用户提供安全服务器的前提。

- 数据备份软件:支持多备份设备、多种厂家的机器、多种数据库等等。

- 应用开发系统：IDC应提供相应的开发系统平台，提供相应的开发工具，满足用户或IDC开发相应应用的需求。

IDC自身服务系统建设

IDC是靠其优质的服务来占有市场和赢得客户的，为了做到优质高效服务，IDC 在其自身服务器系统的建设上也必须有大量的投入。IDC自身服务系统主要有：- 客户关系管理系统(CRM): CRM是IDC与客户建立良好关系的基础服务系统，它为IDC提供的用户的发展动态以及用户的新的需求等。

- 计费系统：计费系统是IDC收入的保证。

- 网络与服务器管理系统：IDC有庞大的网络和服务器系统，要管理好这些系统，必须有一个功能强大的网络、服务器和应用管理系统，此能保证IDC对外的服务质量。

- IDC的内部管理系统：保证IDC内部各部门能够统一协调工作，完成高质量的服务。

机房场地建设

机房场地的建设是IDC前期建设投入最大的部分。由于IDC的用户可能把其重要的数据和应用都存放在IDC的机房中，所以对IDC机房场地环境的要求是非常高的。IDC的机房场地建设主要在如下几个方面：

- 机房装修：机房装修主要考虑吊顶、隔断墙、门窗、墙壁和活动地板等。

- 供电系统：供电系统是IDC的场地建设重点之一，由于IDC的大量设备需要极大的电力功率，所以供电系统的可靠性建设、扩展性是极其重要的。供电系统建设主要有：供电功率、UPS建设（n+1）、配电柜、电线、插座、照明系统、接地系统、防雷和自发电系统等。

- 空调系统：机房的温度、通风方式和机房空气环境等。

- 安全系统：门禁系统、消防系统和监控系统。

- 布线系统：机房应有完整的综合布线系统，布线系统包括数据布线、语音布线、终端布线。- 通信系统：包括数据线带宽、语音线路数目等。

IDC网络建设

IDC网络功能结构

我们建议的IDC网络结构如下图所示：

·核心交换层：由两台CISCO6509多层交换机构成，实现双机容错工作，保证数据的高速、无阻塞的交换。

·策略分布层：可以由一组CSS11000系列内容交换机组成，负责完成服务器负载均衡和策略分布任务。

·服务器访问层：由一组Cat3524交换机组成，完成托管服务器的高速接入工作。·后端网络：由两台CISCO6509构成，实现双机容错工作，实现IDC管理中心，数据库、邮件、应用等服务器和存储系统的连接，托管服务器通过第二块网卡和后端网络相连，保证独立和高速的数据访问。同时，后端网络通过防火墙和前端的核心网络连接，实现IDC管理中心对前端网络的管理，防火墙则为后端网络提供更严格的保护。

·用户访问层：由若干台Cat4000和一组Cat2924组成，提供企业和个人用户接入，提供INTERNET上网，企业用户还可以通过VLAN和自己的托管服务器连接实现日常的维护工作。

IDC网络建设

方案设计描述

1．Internet接入网络结构

由于本系统Internet接入服务用户主要来自于各写字楼内的公司和高级酒店、公寓内的客人和住户，且各写字楼相距较近，所以全部采用LAN结构为这些用户提供接入服务，如下图所示:

LAN采用流行的以太网络结构，

核心交换：Cat6509多层交换机

分布层交换或周边建筑物内主干：Cat4006交换机

接入层交换机：Cat2924XL交换机

由于考虑到在酒店和写字楼内重新进行数据布线有一定困难，所以采用TDSL技术实现楼内的数据传输，所有数据交换设备都集中在中央机房内，但网络的总体结构不变。

核心交换使用两台Catalyst 6509构成，形成全冗余的高速网络核心。分布层交换机Catalyst 4006使用两条千兆线路分别与两台6509相连，形成冗余的千兆主干。楼层交换机使用Catalyst 2924XL交换机。

Cat6509上的千兆端口还用来连接其他的节点，与其他节点的LAN一起构成一个分布式的城域范围的数据中心的结构。

2．用CACHE加速INTERNET访问

Internet的发展趋势是尽可能地将内容在地理上靠近用户，由于本方案中INTERNET接入用户的大都来自与商务写字楼和酒店公寓，其对INTERNET的访问具有很大的重复性，所以有效地部署CACHE可以大大地降低INTERNET接入的带宽负荷，提高内容的相应速度。

另外，由于现在INTERNET上出现越来越多的多媒体形式的内容，指望拓宽INTERNET出口带宽来提高用户对这些内容的访问速度是根本不现实的，而使用CACHE技术对INTERNET上的这些内容进行缓存，不但可以使这些内容对用户变得现实可用，提高用户的忠诚度，而且还可以通过定期定制一些多媒体节目在CACHE中，以有偿的方式向用户提供，这就演化成了一种增值服务。

总之，CACHE对IDC以及ISP都是必不可少的，经营者可以通过灵活地使用CACHE 来最大限度地降低成本，提升利润。

我们建议使用NETAPP公司的NetCache C1105来提供缓存服务，将其连接在INTERNET接入路由器上提供服务。

NetCache C1105的特点：

可靠性/可用性/可扩展性

专用的体系结构专注于内容可用性的提供

微码的核心系统，在增加数据可用性的前提下达到最小的开销

WAFL（Write Anywhere File System）NetApp专利的文件系统优化了磁盘到网络的传输

冗余的热插拔电源

ECC内存保护

OS的冗余拷贝

简化的管理

专用的内容管理和送达软件

大型部署时的多系统管理

应用分析与报告的日志

快速的安装与启动

企业框架软件集成提供集中的应用管理

基于WEB与CLI的管理

温度、电源监控提供可预测的系统管理

安全

加固了的TCP/IP协议栈在没有防火墙的保护下也能抵御一般的网络攻击

Icap-enabled 过滤和病毒检测

本地支持的第三方过滤表

NTLM、LDAP与RADIUS认证支持

ACL

多协议

支持HTTP、FTP、NNTP

支持主要的流技术(MMS，RTSP，QuickTime)

iCAP-enabled 应用提供灵活的对增值服务的访问

3．服务器负载均衡的实现

对于大部分站点而言，采用多个服务器而不是一台大型服务器，可以提高服务器的响应性能，减少服务器的单点故障。但多台服务器的采用，必须考虑服务器的负载均衡问题。在本方案中服务器置于 CSS11800内容服务交换机之后，所以由CSS11800完成服务器的负载均衡。

CSS11000系列通过ACA(Arrowpoint Content Assure protocol) 制定负荷参数，选择最小负荷的服务器提供用户所需的内容。

同时CSS11000系列还支持加权轮询-Weighted Round Robin；最小连接机制；最大连接数限制等多种算法实现负载均衡。

Cisco CSS 11000系列内容服务交换机是业界唯一的动态负载均衡交换机，采用具有专利权的ACA算法，可以根据Cache服务器的命中率、流建立数和RTT(Round Trip Time)选择最合适的服务器应答用户的请求。与其他的负载均衡设备比较，CSS具有更高的负载均衡能力，因为它是一种基于流的交换机，其他厂家的负载均衡设备则是基于包的交换机。基于包的解决方案通过检测对某一特定内容的请求时的每个包来做转发决定，这样严重增加了CPU的负担。而作为基于流的交换机的CSS，一旦流建立起来后，该流所有的流量都将以线速转发。

CSS以下面的多种方法支持负载均衡：

·具有专利权的ACA负载均衡算法

·轮询(Round Robin, RR)

·加权轮询(Weighted Round Robin, WRR)

·最少连接(Least Connection, LC)/最大连接(Max Connection)

·目的IP地址

·源IP地址

·域/域Hash算法(Domain/Domain hash)

· URL/URL Hash算法

考虑到建设初期，负载均衡交换机不是必须的设备，而且也不是所有的托管站点都需要负载均衡功能，所以，我们建议先不采用负载均衡设备，等到有需求的时候再增加。

4．WEB服务器的连接

我们为IDC中的每台托管服务器都配置两组网卡，一组用于前端网络的连接，提供WEB访问；另一组用于后端网络的连接，提供对数据库、邮件等服务器以及存储系统的访问。

通过使用不同的网络通道进行数据库等后台应用访问，可以使服务器更充分的利用网络带宽来相应WEB请求；同时，后端网络与前端网络的分离可以让数据库访问、文件存取等要求高速、大容量的数据访问享有更多的网络带宽。

服务器通过一组接入交换机Cat3524连入主干交换网络。

5．后端网络的设计

由于后端网络连接IDC管理中心，数据库、邮件等服务器和大容量存储系统，需要高速的交换系统，所以我们使用两台Cat6509交换机作冗余的核心，连接一组Cat3524提供和WEB服务器的连接；对于数据库等服务器和存储系统，可以采用千兆以太端口或千兆以太通道提供高达数Gbps的直接连接。

6．用户的远程维护

一般情况下，IDC用户会要求远程维护自己的托管服务器，由于用户只允许对自己托管的服务器进行访问，因此，必须采用如：VPN、VLAN等技术保证这一点。通过连接到后端网络的广域网路由器可以提供用户通过专线、拨号、VPN等各种方式实现远程维护。对远程维护的行为进行可以通过以下几种方式进行：·DDN专线：用户通过DDN专线连接到IDC中心，通过策略路由或VLAN被限制只能访问自己的服务器，进行维护。

·PSTN或ISDN拨号：用户通过拨号线路访问IDC中心，身份认证由AAA Server 进行，并进行行为授权，保证用户只能访问到自己的服务器进行维护。·VPN：用户可能距离IDC中心太远，从各方面不具备通过DDN或PSTN线路访问IDC中心的条件，这是可以通过INTERNET采用VPN的方式与IDC中心连接并维护服务器。这种情况下，由VPN Server或VPN 路由器保证连接的安全性和可靠性。VPN的实现可以采用IPSec隧道和MPLS VPN技术，在保证信息正确可达的情况下，对用户信息进行高强度的加密，保证用户信息的不被窃取和完整性。对

于本地接入的公司所托管的服务器，由于公司LAN和托管服务器处于一个LAN

结构之内，所以，服务器运行维护可以通过定义VLAN进行。

7．网络安全的考虑

网络的安全主要通过防火墙和入侵检测系统来体现，通过部署防火墙系统，可以将网络划分成几个安全等级不同的部分，对于要求安全等级高的部分，还可以通过部署多级防火墙来提供安全保护。

入侵检测系统则可以对恶意的入侵行为进行探测，进行记录。

这部分内容参见第三章第二节"安全性建设"。

8．网络的扩展性

网络良好的扩展性可以让供应商在相当长一段时间内持续提供一致服务，而无需进行新的投资，我们在网络设计中也充分考虑到了这一点。

网络主交换机Cat6509采用模块设计，最多可以支持到384个10/100个快速以太端口，或130个千兆以太端口。其交换带宽可以从32Gbps（15Mpps）扩展到256Gbps（150Mpps），用户可以根据需要选配端口。

建筑物主交换机Cat4006也采用模块设计，支持六个接口插槽，最多可以扩展到240个快速以太端口，72个千兆以太端口。

楼层交换机Cat2924支持10/100自适应端口速率，而且2924支持多交换机堆叠，在端口数不够时，可以简便地扩充端口而无需增加上层交换机的端口。

Cat4006可以通过千兆以太通道技术来提升主干连接速率，Cat2924也同样支持快速以太通道和千兆的主干连接，可以在需要的时候平滑地从现在的10M/100M/1000M的交换结构升级到100M/1000M/n*1000M的交换结构，成10倍地提升网络速率。

1.操作系统的安全规划

操作系统的安全性建设应是整个系统安全性建设的基础。操作系统的安全性建设主要包括用户的管理、超级用户的管理、文件系统安全管理、远程对系统的访问等。

用户管理：对用户的管理主要有用户的账号口令管理，设置用户账号的有效期，用户账号口令的存活期限等。如果需要可以规定用户只能在指定的时间内才能登录系统，并对登录系统的用户进行审核（audit）。

超级用户的管理：严格限制有普通用户变成超级用户（如使用su、rlogin等命令），如果需要可以使用如CA Unicenter TNG这样的软件来控制系统超级用户的权限。

文件系统的安全管理：控制用户对系统内特殊文件的访问权限，特别是删除、移动等权限，对使用NFS系统可以采用kerberos方式认证。

远程对系统的访问：封闭系统的telnet、ftp、r-访问（rsh、rlogin、rcp）等

功能；但可以对系统管理员开放相应的telnet、ftp功能，以便利于对系统的管理和维护。

2．防病毒(Anti-Virus)

目前病毒在网络和Internet上传播主要以电子邮件和Web浏览的方式传播，以及内部网络上员工的共享文件的传播。防病毒可以分为集中防病毒和分散防病毒两种方法。集中防病毒的方法是在主要的服务器上安装防病毒软件，此软件先对进出此服务器的数据进行检查，然后再把通过检查的数据发送给客户；分散防病毒是只在客户端安装防病毒软件，它只检查进出客户端的数据是否有病毒感染。由于IDC主要为客户服务，数据主要集中在服务器上，所以在IDC系统的防病毒体系中主要采用集中防病毒方法，但同时对一些与服务器相交户的内部客户段（如管理客户段）也采用分散的防病毒方法。集中防病毒主要是对进出的邮件和HTTP流数据进行防病毒；分散是保护内部网的单个终端用户。

3．防火墙(Firewall)

防火墙(Firewall)是保证网络安全的重要手段之一，在建设IDC基础网络系统安全性时，首先是要考虑防火墙的建设。在Internet/Intranet上，通过防火墙来在两个或多个网络间加强访问控制，其目的是保护一个网络不受来自另一个网络的攻击，隔离风险区域与安全区域的连接，但不妨碍人们对风险区域的访问。

防火墙要完成如下主要功能：

·通过对IP包的检查，过滤对网络安全有潜在威胁的IP数据包。

·屏蔽对于网络不必要且有安全漏洞的服务，如Telnet、FTP等。

·控制从Internet上过来的IP数据的流向，如数据包其目的地址只能是某个区域的DNS、WWW等服务器。

·屏蔽对于某些Internet站点的访问。

·完成系统内部IP地址到Internet合法IP地址的转换，保证能够从系统内部访问Internet，隐藏内部网络和主机的结构。

·访问日记，即Access Log。

IDC不仅要建设自己的防火墙系统，同时也要考虑特定的用户需要建立起自己的防火墙系统，即用需要在其自己的应用前增设相应的防火墙系统来保护其应用的安全（这可根据用户的实际需求再进行建设）。

4. 网络和系统入侵监控

网络和系统的入侵检测是在网络上增加一台扫描仪器和在主要服务器上增加相应的防入侵软件来实现。此类防入侵软件有两个主要功能，一个扫描网络和系统上的安全漏洞，以便在

网络和系统建立初期，就解决好安全问题，此功能也属于安全保护范围；另一个功能是在网络和系统运行时，监控数据流，及时发现黑客入侵，从而做到防止黑客的入侵。

在IDC系统中，在每个重要的服务取得网络的入口处安放一个探测器，对每个进出此段网络的数据流进行检查探测，当其发现某一个数据流不是正常的数据流时，探测器把此数据流截获住，并向位于管理区的管理服务器发送入侵信息和警告，然后由管理服务器在做相应的防御对策。

同时在每个服务器上安装有类似的探测器，所以当黑客入侵服务器系统时，也是采取上述动作。

数据存储系统

1． IDC存储系统综述

在新的以信息为核心的时代，如何更有效的管理、保护和共享企业信息已为各行业的发展提出了新的挑战。尤其在电子商务、互连网络等新兴信息行业领域，更是面临着前所未有的巨大挑战。在传统的分布式处理模式下，网站内所有的信息分布在内部各个服务器上，信息的管理，信息的可用性受到了很大的限制，不能充分发挥应有的作用，而且系统的升级和新业务的开发部署也都不能及时响应Internet快速变化的要求，在这种情形下，以信息为中心的集中处理模式应时代的需要再次走上了历史舞台，而构建企业信息基础设施则更是集中处理模式的重中之重。

对于Internet网站来说，几分钟的宕机都会带来巨大的经济损失以及不可估量的网络用户的流失，如果宕机的时间再长一些则可能危及整个网站的生命。因此整个IT系统的高可用性变的非常重要，而作为信息系统核心的数据部分的高可用性更是重中之重，服务器的宕机可以通过多台服务器冗余带来保护，但是如果服务器上的数据没有有效的保护或成为访问瓶颈，则可能成为致命的缺陷。

另外，分布式的环境给信息系统管理带来了巨大的障碍。数据分布在众多的平台和服务器之上，备份和管理的工作变的越来越复杂，多个服务器上分散的数据很难共享，而且这种分散的存储模式也带来了巨大的资源浪费，系统管理人员无法在多个系统间有效的调度存储资源。再有，这种处理模式也不利于新业务的快速部署，而更快的测试、部署新的应用意味着更快的抢占市场，吸引用户，这在Internet中无疑是有着举足轻重的意义。

IDC之间的竞争目前主要表现是网络带宽、基础设施等IDC的基本要素的比较，随着IDC产生的越来越多，IDC之间的竞争已经表现在如何能够为IDC的用户提供更多的数据及安全服务，如：防火墙、数据备份、镜像站点、负载均衡、统计分析等数据安全、管理、分析等增值服务。IDC如何利用现有的带宽优势、基础

设施优势来提供更多的数据增值服务并且最大的压缩成本是未来IDC之间竞争的制胜法宝。因此IDC如何能够提供更多的数据保护、数据管理服务成为IDC

建立时系统设计的一个重要方面。其实答案是很简单的，那就是集中存储管理。

作为IDC的集中存储系统需求要面对未来IDC用户的需求的多样性，可以按照模块方式为用户提供模块化的服务。作为IDC的存储中心首先应该具有极高的安全性，试想如果存储系统产生问题如何为用户服务，存储中心还应该具有很强的功能弹性：可以实现集中的数据备份、冗灾、连接主机的多样性等等。

作为存储中心的成本可以有两种评测，一种是简单的容量成本，另一种是与IDC 系统有关联关系的功能或服务成本。第一种比较简单，第二种我们可以通过以下两个示例来说明：

示例一：很多Web Hosting 用户需要使用高速的文件访问，要求容量配置管理简单、扩容方便。假设有400台主机需要托管并且主机类型主要是NT、 LINUX 等平台。如果每台主机都通过光纤通道的IO通道，则我们需要在每台主机上安装一个FC的卡，价格大约是US$2000.00，那么我们共需要80万美金，如果将这些成本加到用户身上显然不合适。

示例二：如果有100台SUN或HP的服务器提供ASP等业务，用户需要对数据进行备份保护，那么一般情况下需要在每台服务器上安装备份软件，如果每套软件价格大约US$15000.00，需要花费150万美金，并且这种备份方式要站用大量的网络资源和服务器的计算资源。

既然存储服务是中心化的，有没有更好的解决方案，答案是NETAPP的FILER。通过下面的方案介绍我们就会明白为什么目前10大IDC中会有9家采用NETAPP 的存储解决方案来为IDC的用户提供基础设施和增值服务。

2．存储系统的建设目标

存储系统重点是对整个网站内的数据进行整合，建立起真正的企业存储平台，在统一的企业存储平台上建立集中式的处理中心，更有效的完成业务处理，并极大的提高系统的可管理性，降低系统的管理难度及管理开销，提高信息的可用性和共享性。

存储系统要达到的建设目标如下：

·完成数据整合，建立全网站的信息基础设施，在统一的信息存储平台上高效的完成业务处理，将所有应用系统连入已采用的智能存贮系统平台，进行数据整合，整合后整个网站的数据信息将位于统一的企业存储平台之上。

·在新的信息基础设施上更有效的完成系统管理，降低系统管理的难度和工作量，从单点实

现对企业存储平台的统一管理和控制。

·利用新的信息基础设施最大限度的提高信息的共享性，信息共享可在存贮系统平台内快速有效的完成，无需占用网络资源。

·提高信息的可访问性和访问速度，所有的数据磁带备份工作，可通过备份机利用本地磁盘镜像数据来完成，有效降低生产系统的备份窗口需求，大大延长生产系统的在线服务时间。一个完整的存储系统还应与数据备份系统做到无逢结合，即存储系统还达到如下目标：·关键数据实现实时备份

·关键业务系统的主机实现热备份

·关键业务系统的网络部分实现热备份

具体目标如下:

·关键数据实现远程实时备份，备份技术应不占用主机资源，对应用系统无任何影响。·建立灾难备份中心。

·在灾难备份中心，放置主机系统以用作热备份，其处理能力为生产中心主机的80％以上。·在灾难备份中心，建立网络备份系统，其中包括备份网络设备如路由器、HUB等和备份线路，备份线路的接入分局应不同于生产中心连接的分局。

在存储系统建成后，IDC的信息系统将为未来的发展（包括业务和技术）奠定了坚实可靠的电子信息基础架构。所有的业务可以在这一信息基础架构上进行集中的控制和统一的管理。信息的可用性、保护性和可管理性将大大提高。系统的可扩展性和灵活性也将比传统的分布式存储方式大大改善，可以充分满足目前及未来的业务发展和管理的需要。

3．存储方案概述

IDC的存储系统是为应用提供服务的，所以在设计IDC存储系统时，必须要考虑到所服务的类型。IDC的服务类型主要有：Web服务（Web-hosting）、数据库、邮件、目录、计费系统等。根据应用服务的类型和特点，我们把数据库、邮件、目录、计费等系统规划为一类，此类服务的特点是服务器的种类相同，如数据库服务器全为Sun ,存储的数据共享型少，比较集中；把Web服务归为另一类，Web 服务器可能是多厂家的（Sun, PC server）,而Web服务的内容共享型比较多，特别是在Web负载均衡时，要求多台Web服务器的提供的内容要一致。

下图展示了NAS存储结构，此存储系统主要为IDC的基于Web的应用服务，如Web、Web-Hosting等，在IDC中Web服务器是很多台的，而且可能是不厂家的服务器，同时很多Web服务器采用负载均衡的方式运行，这需要保证每个Web

服务器在同一时刻必须提供相同的内容，NAS存储系统能够很好地满足这些要求，同时NAS的良好扩展性能够满足Web应用对存储系统扩展的需求。

我们建议采用Netapp公司的F840作为IDC的NAS存储系统。我们采用两台Netapp的F840作为存储系统，两台F840以双机备份的方式运行，具体描述如下：

多应用系统数据存储的独立性和安全性

由于在NAS的存储系统上要存放多家的数据，如何保证用户间的数据安全性，是NAS存储系统应重点考虑的问题。在F840 filer系统上，首先，filer具有高度的安全性，安全认证由UNIX主机和WINDOWS NT主域控制器负责，安全等级达

C2级；在NT环境中，filer 与NT的ACL（access control list）功能相结合可提供更高的安全保护。

为保证数据存放的独立性，可在一台filer中将不同应用系统的数据分别存放于多个卷组中，同时对每一卷组授予不同的操作系统访问权限，用户组和用户权限，以细化对数据的保护。且在网络配置上可安装多个网卡使filer拥有多个IP地址，通过子网配置实现数据的分流和隔离，确保应用系统的数据独立性。

另外，filer的Data Ontap操作系统还提供名为QTREE的空间配额管理工具。只需简单的命令行配置即可对卷组下的用户目录空间和最大可创建文件数作配置，实现细化管理。

Cluster Failover简介

文件系统专用设备Filer除了软硬件本身具有99.99%的高可靠性以外，为了消除一些单点故障（如系统主板出错，等），在以低成本、低性能开销、不增加系统复杂度的前提下，将两台独立的Filer耦合起来，实现一旦一台Filer因故障而停止运行并且不能重新启动，另一台Filer立即就可接管这一台Filer的全部工作，保证系统正常运行。Cluster Failover系统结构图如下图所示。

图中的两台Filer都与磁盘阵列相连，并处于同一子网中，两台Filer之间用高速、冗余的光纤互连。光纤通道（FC-AL）的硬盘有两个端口，分别与两台Filer 相连。

每个Filer有自己主管的一组硬盘。正常运行时，两台Filer各自独立工作，硬盘、风扇或电源出错不影响另一台Filer的工作。同样，若一台Filer的软件出错，这也仅仅引起这台Filer重新启动，不会影响到另一台Filer的工作。如果一台Filer发生灾难性故障，即不能重新启动，则另一台Filer会自动接管原属于有故障的Filer的硬盘、文件系统、同时将其IP地址也归为己有。

在整个接管过程中，客户端仅简单地感觉到系统像是在重新启动。所有在系统本身重起过程中，能够保留的状态，另一台Filer也同样通过接管保留。当然，如果一台Filer在其重新启动过程中丢失一些状态，如CIFS 锁（LOCK）状态和文件状态等，则在接管后，另一台Filer也不能保留这些状态。

一旦有故障的Filer恢复正常运行后，它不会自动地再接管自己的文件系统，这需要系统管理员干预才能实现。系统管理员也可强制一台Filer交出自己的文件系统，从而可实行计划中的Filer和硬盘维护工作。

Cluster Failover的工作原理

Cluster Failover主要依靠以下两个方面工作：

其一是WAFL的特性，特别是WAFL文件系统的盘上状态（ON-DISK STATE）永远是一致的。这个盘上状态从一个一致点移动到另一个一致点的过程为一个交易，也就是说，要么完成一个状态迁移，要么无状态迁移，因此它永远保持一致。另外，WAFL在日志文件中记录所有被服务过的、能够转移到非易先性RAM（NVRAM）中的客户请求。日志文件中那些已被转移到硬盘上的客户请求只有在一个盘上状态迁移完成后，才被丢弃。Filer通常利用这些特征

将盘上数据从故障中恢复。当Filer重新启动时，它只是简单地重新执行在最近（一致性）盘上状态未反映的NVRAM中的客户请求。

其次是互连的特性，特别是互连具有远程内存存取能力（有时也称作非一致性内存存取，或者简称NVRAM）。当一个客户请求到来时，Filer将其记录在它本地的NVRAM中。在Cluster的配置中，Filer利用远程内存存取特性将日志文件中的记录项拷贝到另一台Filer的NVRAM中。这个技术的一个突出优点是发送方发送的拷贝极快，几乎不影响到接收方的操作（如，没有包处理过程）。同样，另一台Filer也会将自己的NVRAM中的日志记录项拷贝到这台Filer的NURAM中。

当一台Filer不能从互连的光纤通道、网络或硬盘上探测到另一台Filer的心跳（HEARTBEAT）或I/O活动，他即认为这台Filer已出故障，接管过程开始。主要是接管出故障的Filer的IP和MAC地址、文件系统和硬盘，以及后台服务器进程(daemon)，并将其使用的NVRAM中的日志记录项回现。这个技术与Filer

重新启动时所使用到的技术类似。接管后，正常工作的Filer中的每个后台服务器进程(daemon)具有两个标识符，一个用于本地Filer，另一个用于另一台Filer。

Cluster Failover的配置

从以上的简单描述，我们已了解了Clustered Failover 的原理，我们知道这个解决方案能够使得文件/存储系统在filer本身具有的高可靠性的基础上进一步保证了系统的高可用性。为了避免一些软硬件的兼容性问题，以及系统运行后配置和管理的方便，我们建议将两台F840的软件和硬件，包括存储容量配置成完全相同的两台filer。

存储解决方案特点

1. 整个网络的数据存储统一集中管理，非常适合大型设计和制造单位进行文件数据的管理和维护；

2. 容量高，一个文件系统可达12TB，可以简单地增加Filer 网络文件数据存储服务器来成倍的扩大存储容量而并不影响现有的网络结构；

3. 文件和数据访问速度快，单卷NFS操作速度达15,000次每秒；

4. 稳定性高，单台可靠性达99.995%，双机达99.997%；

5. 易于操作，只有60条命令，安装只需15分钟；

6. 易于维护，硬盘可以热插拔，重启动只需120秒；

7. 有高度的安全性，安全认证由UNIX主机和WINDOWS NT主域控制器负责，安全等级达C2级；

8. 具有数据保护功能，具有20~30级硬盘快照功能；

9. 具有进程保护功能并重起时间短，约120秒；

10. 支持多个网络协议和操作系统，适合多种网络环境共存（UNIX，WINDOWS NT，HTTP）的数据存储；

11. 高效的灵活的管理，支持热插拔和热备份硬盘；

12. 具有模块化设计，可以方便地升级和扩展网络存储设备；

13. 存储系统中的数据可进行磁带备份保护，支持现有的数据备份软件和备份设备；

14. 用磁带备份保存的数据当其恢复时原有属性不丢失，可保持UNIX和WINDOWS NT数据的初始状态；

15. 存储系统具有最优化的投资配置及最优服务；

16. 来备份Unix系统和NT系统混和网络环境的全部数据。

数据备份系统

在IDC应用中，为确保向客户提供7x24的服务，各种数据的安全可靠是非常重要的一个环节，这需要对数据提供一套完整的管理方案，涉及备份、归档、复制等方面。我们建议使用Veritas NetBackup软件、Sun Enterprise 220R服务器与Sun StorEdge L20磁带库配合，作为数据备份的解决方案。

1.Veritas NetBackup软件

Veritas公司是业界在提供数据存储解决方案方面全球性著名公司，Veritas的NetBackup是业界比较常用的备份服务软件。Veritas NetBackup可以为一个具有大量Windows NT/2000, UNIX，NetWare等环境的数据中心提供数据保护，并通过一些灵活的图形化界面来管理其所有的备份和恢复工作，这样可以在一个企业实施连续性的备份策略。

1.1 Veritas NetBackup的体系结构

NetBackup采用四层的体系结构，将复杂的存储介质管理和高性能紧密结合，可以满足最大型的数据中心的要求。

·第一层包括NetBackup的Master Server。Master Server可以看作策略规划和客户端备份处理等动作的"大脑"。它可以有一个或多个磁带驱动器或磁带库，备份来自多个客户端的数据。

·如果一个机构有多个分离的数据中心，或有数据密集性的应用，例如数据仓库，它可以设置多个Media Server，为本地的大型应用备份数据的同时通过网络备份其他客户端的数据。如果一个Media Server失效，联结在该Media Server

上的所有客户端备份进程可以转到另一台Media Server上进行。

·第三层是Client Agent，用来备份服务器或工作站的数据。这一层代表大量的独立的机器。Media Server和Client Agent都可以由Master Server来集中管理。

·对于一些多个Master Server或者覆盖面很广的分布式环境，NetBackup还可以建立第四层的Veritas Global Data Manager，来进行集中管理。Veritas Global Data Manager可以对企业所有的NetBackup存储域进行集中管理。着允许系统管理员和数据库管理员可以管理NetBackup的每一个方面。它还可以实施连续性的策略管理，和监控企业系统中每一个存储域的状态。

NetBackup不但可以恢复主备份带的部分或全部，还可以在别的地方恢复整个应用或服务。NetBackup可以自动生成主备份磁带的拷贝，可以将这些拷贝放在远离数据中心的地方，以备灾难恢复。

1.2 Veritas NetBackup 的特点

性能、可用性和安全性

·并行备份和恢复--可以从一个或多个客户端/服务器通过多个数据流到一个或多个磁带机的读写，这种并行处理技术优化了性能。

·客户端压缩--可以减少网络流量，现在Windows NT/2000和NetWare的客户端支持。

·非专用磁带格式--可以生成tar兼容的磁带。

·中断点重启--一旦备份中断，可以从备份中断的位置重新开始备份。·Windows NT/2000的智能化灾难恢复--Windows NT/2000的远程基于物理设备的恢复。

·数据加密选项--美国和加拿大用户可以进行56位的加密，所有的用户都可以进行40位加密。

灵活的实施模式

·NetBackup向导--快速简单地完成备份设备、存储介质和备份策略的配置。·远程图形界面管理--可以在任何地方完成所有的备份和恢复处理，包括通过拨号网络。

·用户驱动的备份和恢复--最终用户的友好界面可以减少系统管理员的干预。·任务分类--可以根据备份的重要程度设置优先级。

数据中心的加强可靠性

·独一无二的多层结构--同类产品中首创的分布式结构体系，Master Server，Media Server和Client，所有这些都可以由Global Data Manager来监控。

·Media Server的故障切换--当出现故障时，自动将客户端的备份进程切换到另一台服务器。

强大的辅助工具

·备份进度条--可以清楚知道备份何时结束。

·设备监视--对磁带使用情况和驱动器配置的报告。

·日志的分类和识别--使故障诊断更容易。

·浏览历史日志--可以对以前的操作进行深入分析。

多平台支持

·支持所有主要的操作系统--包括所有主要的 UNIX平台，Windows NT/2000，Novell NetWare，Linux等

·支持EMC--可以与EMC TimeFinder集成。

·数据库和应用--支持很多业界领先的应用和数据库：Oracle, Microsoft SQL Server, Sybase, Informix, DB2, Microsoft Exchange, and SAP R/3，还有更多正在开发中。

1.3 层次化存储管理（Hierarchical Storage Management）

当IDC运行一段时间以后，一些在线数据的访问次数会越来越少，最终到无人访问；而出于商业的一些因素，这些数据又必须得保存一段时间，有的甚至要保存几年。这些大量的历史数据引发的最大问题是占用大量的磁盘空间、增加磁盘访问数据的时间并引起应用程序的性能下降。

解决上面问题的方法就是层次化存储管理（HSM）技术，HSM技术自动将在线数据进行分类，并将不常用的历史数据转移到其它存储介质上去（例如磁带），同时将在线数据删除以释放磁盘空间；而对用户而言，这些数据看起来依旧在其原有的位置上，没有变化。在有应用访问这些数据时，HSM会自动将这些数据读取回来并置为在线状态，供用户使用。通过NerBackup与HSM技术的有效结合，可以实现对数据更完善的管理。

2. 主机和存储设备

在使用大型磁带库的环境中，由于磁带库采用多个高速的磁带驱动器，其数据吞吐率非常高，对主机和数据源的存储设备的性能要求也相应较高。此时备份服务器一般配置一定容量的缓冲区，这对备份数据的浏览、检索和数据恢复都非常重要。特别在连接磁带库的环境中，通过在缓冲区中设置备份数据的文件索引，可以提高数据检索的速度，并且在缓冲区对备份数据进行缓存，可以缩短读备份数据的时间，增强数据浏览和备份恢复的性能。