智慧城市大数据云资源中心建设方案

智慧城市大数据云资源中心

建设方案

目录

1. 智慧城市云计算中心总体设计 (1)

1.1总体设计方案 (1)

1.1.1 设计原则 (1)

1.1.2 支撑平台技术架构设计 (2)

1.1.3 支撑平台网络拓扑设计 (3)

1.1.4 通过云操作系统实现云计算中心运营管理 (4)

1.1.5 层次清晰的云计算中心部署架构设计 (5)

1.2项目技术路线 (6)

1.2.1 X86系统架构 (6)

1.2.2 资源池化 (8)

1.2.3 弹性扩展 (10)

1.2.4 智能化云管理 (12)

1.2.5 充分考虑利旧 (13)

2. 统一存储平台建设方案 (14)

2.1数据类型分析 (14)

2.1.1 结构化数据 (14)

2.1.2 非结构化数据 (14)

2.2存储网络设计 (15)

2.2.1 存储网络种类 (16)

2.2.2 存储网络选择 (18)

2.3统一存储平台设计 (20)

2.3.1 统一存储平台定位 (20)

2.3.2 统一存储平台架构 (24)

2.4结构化数据存储资源池建设 (31)

2.4.1 GNC区建设 (32)

2.4.2 CEGN区建设 (34)

2.4.3 详细功能实现 (35)

2.5非结构化数据存储资源池建设 (57)

2.5.1 系统定位 (57)

2.5.2 总体架构设计 (58)

2.5.3 GNC区建设 (61)

2.5.4 CEGN区建设 (63)

2.5.5 详细功能实现 (64)

3. 信息资源共享与交换平台 (69)

3.1.1 数据资源规划 (69)

3.1.2 数据库子系统建设 (74)

4. 大数据平台建设方案 (79)

4.1.1 大数据平台总体设计 (79)

4.1.2 大数据平台惠民示范应用 (100)

1.智慧城市云计算中心总体设计

1.1总体设计方案

1.1.1设计原则

?先进性

智慧城市云计算中心的建设采用业界主流的云计算理念，广泛采用虚拟化、分布式存储、分布式计算等先进技术与应用模式，并与电子政务业务相结合，确保先进技术与模式应用的有效与适用。

?可扩展性

政务云计算中心的计算、存储、网络等基础资源需要根据业务应用工作负荷的需求进行伸缩。在系统进行容量扩展时，只需增加相应数量的硬件设备，并在其上部署、配置相应的资源调度管理软件和业务应用软件，即可实现系统扩展。

?成熟性

智慧城市云计算中心建设，要考虑采用成熟各种技术手段，实现各种功能，保证云计算中心的良好运行，满足业务需要。

?开放性与兼容性

智慧城市云计算中心采用开放性架构体系，能够兼容业界通用的设备及主流的操作系统、虚拟化软件、应用程序，从而使得政务云计算中心大大降低开发、运营、维护等成本。

?可靠性

智慧城市云计算中心需提供可靠的计算、存储、网络等资源。系统需要在硬件、网络、软件等方面考虑适当冗余，避免单点故障，保证政务云计算中心可靠运行。

?安全性

智慧城市云计算中心与省政务外网、区县政务外网及互联网分别连接，必须防范网络入侵攻击、病毒感染；同时，政务云计算中心的资源共享给不同的系统使用，必须保证它们之间不会发生数据泄漏。因此，政务云计算中心应该在各个层面进行完善的安全防护，确保信息的安全和私密性。

?多业务性

智慧城市云计算中心的规划设计中，充分考虑了需要支撑多用户、多业务的特征，保证基础资源在不同的应用和用户间根据需求自动动态调度的同时，使得不同的业务能够彼此隔离，保证多种业务的同时良好运行。

?自主可控

智慧城市云计算中心的建设在产品选型中，优先选择自主可控的软硬件产品，一方面保证整个云计算中心的安全，另一方面也能够促进本地信息化产业链的发展。

1.1.2支撑平台技术架构设计

图支撑平台技术架构

支撑平台总体技术架构设计如上，整个架构从下往上包括云计算基础设施层、云计算平台资源层、云计算业务数据层、云计算管理层和云计算服务层。其中：

?云计算基础设施层：主要包括云计算中心的物理机房环境；

?云计算平台资源层：在云计算中心安全的物理环境基础上，采用虚拟化、分布

式存储等云计算技术，实现服务器、网络、存储的虚拟化，构建计算资源池、

存储资源池和网络资源池，实现基础设施即服务。

?云计算业务数据层：主要为实现业务数据的安全存储，同时针对云平台的各个

虚拟机镜像数据和模板数据进行共享存储，支持虚拟机的动态迁移和数据的迁移；实现部门间数据共享与交换；实现业务应用接入。

?云计算管理层：通过自主可控的云计算操作系统，实现云计算中心的服务管理

及业务管理的协调统一，提高运维及运营的效率。

?云计算服务层：是云计算中心与最终用于交互的接口和平台，通过该平台能够

实现云计算中心统一对外提供服务，为客户人员提供整体的云应用和服务。支撑平台通过统一的云服务平台对外提供服务。

1.1.3支撑平台网络拓扑设计

图云计算中心拓扑架构图

支撑平台建设基于以物理分区为基本单元的设计理念，整个云计算中心可分为：核心交换区、管理区、DMZ区、业务应用区以及云存储区。其中：

核心交换区：负责核心网络交换；

管理区：对云计算平台进行整体管理，单独建设一套管理网络；

DMZ区：考虑云计算中心整体安全性，设置专门的DMZ区，承载各业务部门的业务应用系统的WEB发布，同时支撑云计算中心互联网的接入，该区可采用全虚拟机进行支撑或者采用虚拟机和物理服务器共同支撑；

业务应用区包括两部分：数据库逻辑分区和应用系统逻辑分区。其中：数据库逻辑分区用高端八路物理机支撑；应用系统逻辑分区采用虚拟化和物理服务器支撑，根据具体的业务应用特点决定支撑平台选用虚拟机还是物理服务器。

数据库分区：主要建设支撑各应用系统的结构化数据数据库，考虑到数据库数据量的庞大和系统对数据的访问I/O吞吐，该区建议采用高端物理机进行支撑；

业务应用逻辑分区：主要根据业务部门的不同业务需求及业务部门对平台安全级别要求的不同，采用虚拟机和物理服务器共同支撑。

未来，随着云计算中心业务量的增加和复杂度的增加，可以按照相同的架构进行节点的扩展，达到整个云计算平台的可扩展性和很好的伸缩性。

1.1.4通过云操作系统实现云计算中心运营管理

图云计算中心逻辑架构图

整个云计算中心设计采用业务区域的理念。业务区域（即以服务器集群为核心的物理资源区域，不同的业务区域设备配置可以不同）是系统的基本硬件组成单元，整个系统共包括若干个业务区域。系统规模的扩大可以通过增加业务区域方式，使得整个系统

具有很好的可扩展性。业务区域的业务网络交换机通过万兆方式上联到核心交换区，通过核心交换区与其他业务区域和域外系统互联。

在每个业务区域内，通过云资源管理平台的云计算运营中心节点实现在X86业务节点上部署Hypervisor，并形成一个或多个独立的逻辑资源池，提供给应用使用；通过云计算虚拟化管理中心在逻辑资源池内可实现资源的共享和动态分配。

每个业务区域包括：云计算虚拟化管理中心节点、业务节点、业务网络、管理网络、心跳网络、本地镜像存储；业务区域根据各自的业务需要访问FC存储或并行存储等业务数据存储区域。

云计算平台配置多台云计算服务门户节点，为最终用户的系统管理员提供自助门户服务。

采用以上设计理念，使得整个系统具有超高的可扩展性，可使整个系统扩展到上千台物理服务器规模。

1.1.5层次清晰的云计算中心部署架构设计

图云计算中心部署架构图

依据云计算中心建设的总体需求，勾画整个项目的部署架构，指导项目整体建设。

云计算中心部署主要包括几个层面：计算资源池的构建、业务数据的分区规划、共享存储的设计等。从整个部署架构来看：

计算资源池的构建主要采用高端多核心X86服务器作为服务器基础支撑，通过虚拟化技术实现底层物理资源的虚拟化，通过云资源管理平台进行虚拟机的创建、动态分配、迁移及管理，形成统一的计算资源池。

考虑到云计算的安全性、可靠性及重要性，在本方案中数据库分区采用物理机支撑，以够保证整个数据库的稳定、高I/O吞吐和访问，主要通过高端X86高性能服务器通过集群技术进行部署，支撑相关业务数据的存储和管理。

共享存储设计的存储数据主要包括重要业务数据和虚拟机镜像数据，其中：重要业务数据主要通过Oracle/DB2/SQL Server/MySQL等数据库进行数据管理，结构化数据存储利用高端私有云存储设备来支撑，在未来需要对存储容量进行扩展时可方便的横向纵向扩展；虚拟机镜像数据主要存放在共享存储部分，通过共享存储设备来支撑虚拟机镜像数据的存放，共享存储建议使用并行存储系统来支撑。

1.2项目技术路线

本项目建设云计算中心的基本技术路线主要包括：X86系统架构、资源池化、弹性扩展、智能化云管理以及充分考虑利旧。

1.2.1X86系统架构

基于X86平台的服务器使用Intel Xeon或者AMD Opteron作为处理器，也就是通常所说的PC服务器。近年来，Intel Xeon和AMD Opteron的性能获得巨大的提高，大量的先进技术和工艺先后被Intel/AMD引人其处理器的设计和制造中，比如，64位计算、直连结构、内嵌内存控制器、多核（目前，Intel Xeon最多可以做到10核；AMD Opteron 可以做到16核）、硬件辅助虚拟化技术（Intel VT、AMD-V）、32nm等等。在国际权威测试机构TPC组织发布的结果中，采用X86架构服务器价格/性能比最佳。

X86服务器主要优势表现在界面友好，系统安装、网络装置、客户机设置简易，设置、管理系统直观、方便，系统扩展灵活等优点，对构建大型应用集群具有较好的优势。同时，基于X86架构的服务器因为其开放的架构，开放的生态系统，使其具有较低的运

维成本，这也是传统小型机等封闭系统所不能比拟的。此外，从可靠性的角度，在云计算环境下，通常大量采用虚拟化、分布式、并行计算等模式，有力的保证了计算系统的可靠性。

同时，基于X86架构的服务器因为其开放的架构，开放的生态系统，使其具有较低的运维成本，这也是传统小型机等封闭系统所不能比拟的。此外，从可靠性的角度，在云计算环境下，通常大量采用虚拟化、分布式、并行计算等模式，有力的保证了计算系统的可靠性。国内外几大互联网巨头，Google、Amazon、百度、阿里巴巴等，无不大量采用X86架构的设备，支撑海量的互联网检索和访问。X86架构的服务器已经成为构建云计算中心虚拟化平台的最佳选择。

X86服务器相对于小型机的优势如下表所示：

表X86服务器与RISC架构小型机的区别

总之，X86服务器相对于RISC架构的小型机其优势如下：

?性能价格比高

X86服务器目前已经成为高性能计算机的发展方向，世界上top500排行榜的高性能计算机系统绝大多数是由性价比更好的X86服务器组成的集群系统，小型机系统则很少。

?可扩展性好

X86服务器可以通过原有预留的扩展接口进行无缝的扩展，且相关扩展接口都是业界通用的，非专用接口，这是小型机系统所无法做到的。

X86服务器组成的集群系统扩展成本更低，可以实现按需扩展。

?可管理性好

X86服务器复杂度小于小型机，通常管理一个X86服务器组成的集群系统要比管理一个小型机系统要简单得多，这也同时意味着培养一个小型机的管理人才将耗费大量的费用和支出。

?维护与升级更容易

X86服务器都是采用了标准的硬件设备，那就意味着这些设备可以轻松地拿到，在关键时候客户即使没有硬件厂商的提供也可以自行配置出临时的解决办法，使用通用的X86架构服务器不会轻易受制于服务器制造商；然而，小型机的每个配件都是专用的，那就意味着用户在一些关键的业务上需要等待小型机厂商的服务响应时间，受制于小型机设备制造商，将自己的工作带向了被动。

?对应用系统的更多的支持

小型机系统只能支持相对较少的操作系统和64位软件，而X86服务器可以支持大部分主流操作系统并且可以支持同时存在多种操作系统，也支持32位和64位的软件系统，在X86服务器上可运行的软件是小型机系统的成百上千倍。

1.2.2资源池化

资源池化就是将计算资源、存储资源、网络资源通过虚拟化技术，将构成相应资源的众多物理设备组合成一个整体，形成相应的计算资源池、存储资源池、网络资源池，提供给上层应用软件。

资源虚拟化是对上层应用屏蔽底层设备或架构的资源封装手段，是实现云计算资源池化的重要技术基础。

虚拟化技术由来已久，所谓虚拟化是相对于物理实体而言的，即将真实存在的物理实体，通过切分或（和）聚合的封装手段形成新的表现形态。

聚合封装是将多个物理实体通过技术手段封装为单一虚拟映像/实例，可用于完成某个业务。例如SMP、计算集群（Cluster）、负载均衡集群（Load Balance）、RAID 技术、虚拟存储、端口汇聚（port trunk）、交换机堆叠（stack）等。

切分封装是将单个物理实体通过技术手段封装为多个虚拟映像/实例，可用于执行不同业务。例如主机虚拟化、存储分区、虚拟局域网（VLAN）等。其中：

?SMP、计算集群、负载均衡、主机虚拟化等属于计算虚拟化的范畴；

?存储分区、RAID技术、虚拟存储等属于存储虚拟化的范畴；

?虚拟局域网（VLAN）、交换机堆叠、端口汇聚等则属于网络虚拟化的范畴。

对于虚拟化技术也可以组合使用，以灵活地满足各种应用环境。例如：

?存储分区可以是对单个磁盘，也可以是针对RAID磁盘组；

?虚拟化主机通过负载均衡又可以实现应用单一映像。

虚拟化技术的一个重要结果是降低IT架构中部件之间的依赖关系，以计算虚拟化为例，集群、主机虚拟化等计算虚拟化技术实现了应用软件与物理基础设施解耦合，这个过程类似与从C/S架构到B/S架构，继而发展为多层体系结构的发展，都是由于原有的体系发展出现瓶颈或问题而出现的。

C/S架构到B/S架构是通过应用计算与客户端的解耦合，在客户端与数据库之间增加了web server这样的中间层，减少了客户端和数据库的处理压力。

图C/S架构到B/S架构转化图

B/S结构到多层体系结构是通过数据处理与web server的解耦，在web server之间增加application server，减少了web server的处理压力。

图B/S结构到多层体系结构转化图

C/S结构到B/S多层体系结构的发展，优化了应用处理的过程，提高了应用系统的处理能力，而且也解决了应用系统的扩展能力，使大规模应用处理成为可能。

云计算平台的计算虚拟化技术形式众多，所要解决的问题也各不相同。例如：

?集群技术使得应用处理获得了更大的处理能力；

?主机虚拟化技术则是提高服务器处理能力的利用率。

图集群技术及主机虚拟技术优势图

但是从最终的效果而言都是分离了应用软件与物理基础设施，解除或弱化了它们之间的耦合，从而也就削弱了各自的技术发展所受到的相互限制，拓展了技术发展的空间和灵活性。

图传统数据中心向云计算中心迁移示意图

1.2.3弹性扩展

云计算中心要实现所提供服务的质量，动态的资源调度是必不可少的。

现有数据中心的IT基础架构采用固态配置，灵活性很差，当业务发展超出预期时，

无法及时根据业务需求调整资源供给，难以满足业务快速增长的需求。而且系统资源扩展需要一定的周期，在此过程中，业务系统将处于高危运行状态，造成服务质量下降。而为了应用峰值而扩展的资源在正常情况下，将处于低负荷状态，造成资源浪费。

而云计算中心要避免这样的情况出现，就必须要实现动态的资源调度，实现业务系统资源配备的按需调整，结合管理系统的资源监控，根据业务负载等情况，调整业务资源配给，保障业务系统的资源供给，满足其运行需要，也就保障了业务的服务质量。

云计算中心弱化了应用软件与底层物理资源依赖关系，使得物理资源能够更加灵活地向优化系统性能、提高可靠性、提高易用性、提高运维效率等方面发展，使得动态资源调度成为可能，从而为上层的应用软件提供更好的服务质量。而提高底层的计算、存储、网络等物理资源的耦合性，对于解决上述问题具有关键作用。

首先通过对计算资源、存储资源、网络资源进行优化配给，提高资源能力的耦合性，则可以更好地提高云计算平台的整体性能。

然后智能化地根据用户需要封装、分配资源，形成虚拟应用平台，用户在简单地部署自己的应用或数据后，应用系统即可投入使用。

利用整合了计算、存储、网络等方面资源的运维专家系统，只需基于虚拟应用平台对物理资源的使用分析，即可动态地对其所用物理资源进行优化调整，以提高用户应用的运行效率和服务质量。

在云计算中心，运维人员无需过分关心上层应用的情况，只需基于虚拟应用平台对物理资源的使用分析，进行资源优化调整，保证云计算中心的稳定高效即可。

图云计算中心弹性扩展示例图

1.2.4智能化云管理

云计算中心具有IaaS、PaaS、SaaS等众多的服务模型，提供计算服务、存储服务、乃至整合各种资源的综合性服务，其资源的构成更加复杂、规模更加庞大。为了提高易用性和可维护性，各种资源构成之间的关系复杂。为了保证云计算中心的服务质量，对于众多用户资源配给的调整也要求更精准的、更及时。

这些要求已经不是依靠运维人员的能力所能满足的，需要采用更加智能化的自适应运维管理。

云计算中心运维管理要适应云服务对资源管理所提出的新需求：

紧耦合的资源管理

云计算中心采用资源综合管理，即将系统中的计算、存储、网络等资源视为整体系

统，实施统一管理，这有利于优化整体性能、精确定位问题、是实现动态资源调度的重要因素。

?多维度的资源管理

云计算中心的资源具有多种视图，例如物理资源视图、虚拟资源视图、虚拟组织视图，因此，云管理也应该是多维的。

1.2.5充分考虑利旧

项目建设应充分考虑利旧，建设新系统并将业务系统迁移至新系统之后，先前采购的设备应继续利用，避免浪费已有投资。主要包括以下几个方面：

?服务器设备：经过性能和稳定性衡量之后，可以用来做对性能要求较低的前置

机或者在云计算分区中添加一个利旧服务器组成的云区域，承担重要性稍差的业务系统；

?存储设备：可以用来做容灾，以充实存储空间；

?网络设备：经过性能和稳定性衡量之后，可以用来和新购网络设备一起组成云

计算中心的网络体系。

2.统一存储平台建设方案

2.1数据类型分析

存储资源池主要用于*****政府云计算中心各委办局所有相关的业务数据、统计数据等重要数据存储于存储。各委办局的数据按照数据类型主要可以分为两类，即结构化数据和非结构化数据。

2.1.1结构化数据

结构化数据即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。

2.1.2非结构化数据

相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。

非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图像、声音、影视、超媒体等信息）。

非结构化WEB数据库主要是针对非结构化数据而产生的，与以往流行的关系数据库相比，其最大区别在于它突破了关系数据

库结构定义不易改变和数据定长的限制，支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理，在处理连续信息（包括全文信息）和非结构化信息（包括各种多媒体信息）中有着传统关系型数据库所无法比拟的优势。

统一存储平台具备如下特性：

?必须具有高性能、高可靠性和足够的容错特性，提供多种信息保护、共享、管理方案，以保证信息的高可用性；

?必须拥有足够的系统扩充性，以支持目前的数据容量，同时还要考虑未来业务的发展；

?具备多平台、企业级连接能力，便于主机的选型和系统的整合；

?满足作数据远程镜像备份（容灾）的要求。

2.2存储网络设计

随着计算机网络技术的飞速发展，网络存储方式也随之发展，但由于商业企业规模不同，对网络存储的需求也应有所不同，选择不当的网络存储技术，往往会使得企业在网络建设中盲目投资不需要的设备，或者造成企业的网络性能低下，影响企业信息化发展，因此了解相关网络存储知识，选择适当网络存储方式是非常重要的。

2.2.1存储网络种类

目前高端服务器所使用的专业存储方案有DAS、NAS、SAN几种，下面介绍其相关网络存储知识。

1、直接附加存储

直接附加存储（DAS）是指将存储设备通过SCSI接口直接连接到一台服务器上使用。DAS购置成本低，配置简单，使用过程和使用本机硬盘并无太大差别，对于服务器的要求仅仅是一个外接的SCSI口，因此对于小型企业很有吸引力。但是DAS也存在诸多问题：

?服务器本身容易成为系统瓶颈;

?服务器发生故障，数据不可访问;

?对于存在多个服务器的系统来说，设备分散，不便管理。同时多台服务器使用DAS时，存储空间不能在服务器之间动态分配，可能造成相当的资源浪费；

?数据备份操作复杂。

2、网络附加存储

网络附加存储（NAS）是一种带有瘦服务器的存储设备。这个瘦服务器实际是一台网络文件服务器。NAS设备直接连接到TCP/IP 网络上，网络服务器通过TCP/IP网络存取管理数据。NAS作为一种瘦服务器系统，易于安装和部署，管理使用也很方便。同时由于可以允许客户机不通过服务器直接在NAS中存取数据，因此对服务器来说可以减少系统开销。NAS为异构平台使用统一存储系统