智慧政务云平台方案建议书

目录

第一章电子政务云平台 (10)

1.1云平台建设目标 (10)

1.2云平台建设原则 (10)

1.3总体架构 (11)

1.4IT基础设施配置 (12)

1.5软件列表 (13)

第一章IAAS——基础设施云平台设计 (15)

1.1总体规划 (15)

1.2网络规划 (17)

1.3自动部署 (18)

1.3.1自动部署思想 (19)

1.3.2方案优势 (21)

1.4统一管理 (21)

1.4.1统一监控 (21)

1.4.1.1统一监控架构 (22)

1.4.1.2监控方案优势 (23)

1.4.2网络流量控制 (23)

1.4.2.1总体架构 (24)

1.4.2.2方案优势 (24)

1.4.3统一日志 (25)

1.4.4配置管理 (25)

1.4.5自动审批 (25)

1.5IAAS安全 (25)

1.5.1安全管理体系 (26)

1.5.2安全运维体系 (26)

1.5.3安全技术体系 (26)

1.5.4防攻击系统 (26)

1.6成功案例 (27)

第二章PAAS——应用支撑云平台设计 (28)

2.1设计目标和原则 (28)

2.1.1系统设计目标 (28)

2.1.2系统设计原则 (28)

2.1.2.1主数据集中原则 (28)

2.1.2.2以主数据集中原则拆分系统 (28)

2.1.2.3高可用原则 (28)

2.1.2.4高扩展原则 (29)

2.2总体规划 (29)

2.3支撑平台 (29)

2.4应用支撑平台部署架构 (30)

2.5服务框架(SAF) (31)

2.5.1 SAF简介 (31)

2.5.2 SAF与传统ESB的区别 (31)

2.5.3 SAF架构特性及工作原理 (32)

2.5.3.1 SAF特性 (33)

2.5.3.3 SAF性能对比 (33)

2.5.3.4 SAF监控 (34)

2.5.3.5基于SAF的服务治理 (35)

2.5.3.6基于SAF的服务限流与降级 (35)

2.5.3.7基于SAF的服务容灾与恢复 (35)

2.6分布式缓存技术 (35)

2.6.1总体说明 (35)

2.6.2采取redis的原因 (36)

2.6.3平台总体架构 (37)

2.6.4多协议支持方案 (39)

2.6.5高可用（HA）方案 (39)

2.6.5.1基础设施 (39)

2.6.5.2 Master/Slave复制 (40)

2.6.5.3 AOF (41)

2.6.5.4 RDB快照 (42)

2.6.5.5 jd-redis-dumper (42)

2.6.5.6基础设施小结 (42)

2.6.6故障检测 (43)

2.6.6.1分布式采集器 (43)

2.6.6.2存活报警策略 (43)

2.6.7故障切换 (43)

2.6.8分布式方案 (44)

2.6.8.1垂直扩展 (45)

2.6.8.2水平扩展 (45)

2.6.9容量管理 (46)

2.6.10安全 (46)

2.6.10.1配置安全 (46)

2.6.10.2访问安全 (47)

2.6.10.3内置安全机制 (47)

2.6.11运维和管理平台 (47)

2.6.11.1集群和实例管理 (47)

2.6.11.3统计 (48)

2.6.11.4管理工具 (48)

2.6.11.5自监控 (48)

2.7分布式工作流平台PAF (48)

2.7.1目标 (48)

2.7.2技术概要设计方案 (49)

2.7.2.1体系结构设计 (49)

2.7.2.2流程引擎（SWE）： (50)

PAF代理（Proxy） (50)

流程管理Console (51)

2.7.2.3数据架构设计 (52)

配置数据架构 (52)

流程数据架构 (52)

2.7.2.4安全体系设计 (53)

2.7.2.5备份系统设计 (53)

2.7.3系统运行监控手段及方式 (53)

2.8分布式消息平台（MSP） (54)

2.8.1架构目标 (54)

2.8.2架构 (55)

2.8.3标准及兼容性 (55)

2.8.4高可用 (55)

2.8.5高性能 (56)

2.8.6高扩展性 (56)

2.8.7易管理监控 (56)

2.8.8性能指标 (57)

2.8.8.1测试场景 (57)

2.8.8.2测试环境 (57)

2.8.8.3测试结果 (58)

2.8.9管理平台 (58)

2.8.9.2生产者监控 (60)

2.8.9.3消费者监控 (61)

第三章自动化运维管理 (62)

3.1总体设计 (62)

3.2部署平台 (62)

3.2.1背景 (62)

3.2.2平台设计 (64)

3.2.2.1技术架构 (64)

构图及主要模块说明 (64)

3.2.2.2功能架构说明： (65)

3.2.2.3配置清单 (70)

最小配置 (70)

线上服务器配置(最大配置) (70)

3.2.2.4技术架构和性能的详细说明 (70)

技术指标及性能 (70)

3.2.3技术优势、特性、可靠性策略 (70)

3.2.3.1优势及特性 (70)

3.2.3.2应用接入方便快捷，多角色管理安全保证 (71)

3.2.3.3跨平台，多开发语言应用 (71)

3.3统一监控平台 (71)

3.3.1概述 (71)

3.3.2项目目标 (73)

3.3.3架构设计 (75)

3.3.3.1监控日志收集 (75)

3.3.3.2监控数据分析 (75)

3.4统一日志平台 (76)

3.4.1概述 (76)

3.4.2系统总体架构 (76)

3.4.3关键点设计 (77)

3.4.3.2负载均衡 (78)

3.4.3.3客户端优化 (79)

3.4.3.4日志转发器 (79)

3.4.4扩展性设计 (79)

3.4.4.1客户端的水平扩展 (79)

3.4.4.2服务器的水平扩展 (79)

第四章大数据平台 (80)

4.1总体规划 (80)

4.2大数据平台架构图 (81)

4.3大数据平台 (82)

4.3.1 JBUS抽数系统 (82)

4.3.2 JDS云数据库 (83)

4.3.3 ODE大数据核心处理 (83)

4.3.4 JDDP大数据业务引擎 (84)

4.4成功案例 (84)

第五章安全体系及规范设计 (85)

5.1总体规划 (85)

5.2安全技术体系 (86)

5.2.1网络边界防护 (87)

5.2.2数据安全 (87)

5.2.3应用安全 (88)

5.2.4物理安全 (88)

5.2.5主机安全 (88)

5.2.6网络安全 (88)

5.2.7计算环境防御 (89)

5.3安全管理体系 (89)

5.3.1安全管理承诺 (89)

5.3.2安全管理组织目标 (89)

5.3.3安全评审机制 (90)

5.3.4所有者的管理职责 (90)

5.3.5知识产权 (90)

5.3.6安全方针的修订 (90)

5.4安全运维体系 (91)

5.4.1发布管理 (91)

5.4.2事件管理 (91)

5.4.3知识库管理 (91)

5.4.4问题管理 (91)

5.4.5变更管理 (91)

5.4.6配置管理 (92)

5.4.7资产管理 (92)

5.4.8监控管理 (92)

5.4.9风险管理 (92)

第六章实施阶段 (93)

6.1第一阶段：I AA S平台构建 (93)

6.2第二阶段：迁移现有应用系统及数据 (94)

6.3第三阶段：构建政务云自动化运维 (94)

6.4第四阶段：构建P AA S和大数据平台 (94)

第一章电子政务云平台

1.1云平台建设目标

通过构建电子政务云平台，统一政务云平台架构，提高IT资源的利用率，信息化应用能够在云环境中高可用的运行，同时实现云平台的政务应用系统的研发标准化，提高开发效率，降低开发成本。

●政务云的架构统一

●使用的技术统一

●运行的平台统一

●自动化的运行维护管理

1.2云平台建设原则

电子政务云平台建设是按照国家信息化建设规划的要求，遵循“统一规划，整合资源；统一标准、共享信息；统一协调、讲求实效”的建设原则，各单位不需在信息化上单独建设，严格遵守“统规、统建、统用、统管”原则，统一部署在云计算中心；因此，要求云计算中心的基础设施必须满足各委办局提出的硬件设备及5-8年发展需要，并具备良好的扩展性。

1.3总体架构

电子政务云平台架构

政务云大数据平台架构图

1.4IT基础设施配置

1.5软件列表

第一章Iaas——基础设施云平台设计1.1总体规划

京东在多年的系统平台的研发和运维过程中结合开源产品、业界经验和自身多年的最佳实践形成了一套适合云计算平台业务需求的IT基础设施服务云平台——京东的IAAS平台，其系统架构如下所示：

京东IAAS总体架构图

从京东IAAS的总体架构图可以看出在虚拟化和分布式上下足了功夫。

在系统架构图中位于最底层的是IDC的硬件基础设施，这里除了图示的服务器、存储和网络外还包括机架、UPS机房环境等。为了保证整个数据中心的稳定、可靠运行我们建设的数据中心均达到T4级别：保证任何的计划性活动不会引起关键负载的中断，容错能力也为基础实施提供能忍受最少一次的最糟糕的情况——非计划性故障或者非关键性负载事件的冲击能力。双系统（S+S）的配置，电力上配备（N+1）的UPS系统。除了底层强大

的资源供应外，在数据中心提供多线BGP接入，有40G以上的带宽（还可以根据需要灵活扩容）

当然光有这些还远远不够，为了让IAAS系统高效运行在服务器上采用了目前最为先进的刀片服务器（以32Core、64G内存为主）；分布式存储方面则抛弃了传统的集中存储模型，充分利用每台服务器上挂载的300G*8的存储设备和服务器Raid的功能建立了统一的分布式存储。

在服务器、网络之上是操作系统，通过操作系统将数据中心的物理设备所提供的硬件资源映射到虚拟世界中来并为IAAS所识别。为了达到高效、可靠和安全采用了CentOS6的Linux操作系统，并对其做了定制（在安全、性能优化等方面均有所增强）。

在数据中心里IAAS作为云计算平台建设的最底层承担着虚拟化和资源的管理、调度的工作，其重要性是显而易见的。因为其与底层的紧密关系，运维上也有其特殊性。如果说普通的大平台是三分研发七分运维，而IAAS系统则是二分研发八分运维。当面临成千上万的服务器时如何快速部署并自动化运维就成为一个很大的问题。IAAS方案里的自动部署模块正是为了解决数据中心大规模机器如何自动化的部署而提出的。

在IAAS框架中，安全是很重要的一环。前面提到从物理服务器的操作系统一层开始定制并植入了安全的解决方案，这还只是很小的一部分。根据京东系统十多年的应该实践，安全一定是全方位的，自底向上的覆盖整个云计算平台。

弹性集群是一款高可用的应用集群服务，只需简单几步即可完成大规模集群创建，完全自动化运维。弹性集群支持高并发高访问量，且可根据自定义的规则进行资源的自动扩容或缩容。

弹性集群可以让应用系统根据业务需要自由伸缩，随需而用。但另一方面，因为这些应用都运行在基于IAAS平台的虚拟机中，在使用像网络这样的珍贵资源时难免会相互影响。

在极端情况下，一个运行于虚拟机的应用系统可能强占所有可用的网络资源而使得运行在其他虚拟机上的应用系统只能获取到很少的网络资源甚至中断服务。流量控制正是针对这样问题而提出的解决方案，通过设定相应的流量控制策略可以有效的防止恶意占用资源的情况。

前面已经提到，作为底层的资源管理者在调度大规模的计算、存储和网络资源时难免会遇到各种各样的问题。除了IAAS的智能处理外还需要一个管理界面来显示这些儿信息，比如：整个集群的负载情况如何？什么时候创建了多少虚拟机？…等等还有很多。而统一管理综合了整个IAAS集群运行过程中方方面面的信息、事件，并以直观的形式展现在客户面前；如果需要还可以进行动态的调整。

1.2网络规划

在京东多个IDC中同时既部署有基于传统技术的网络解决方案也有基于最新的SDN技术的网络解决方案，还有将传统网络和SDN结合在一起的混合型解决方案。一个典型的IDC 混合型网络方案如下图所示：

SDN网络

从上图可以看到，在核心交换机处部署了京东的防攻击系统。

从核心交换机往下形成一个大二层的网络，接入交换机负责网络数据的汇聚和承接。

在SDN技术应用方面，自主研发了控制器系统；直观简单，控制能力强，并实现了集群级的高可靠。

1.3自动部署

京东云平台IAAS自动部署的方案提供了一套完整的工具，通过使用最新的技术解决大规模数据中心里大量服务器自动化、快速部署和日常维护的问题。

一般来说在机器数量处于十几台、几十台时虽然麻烦，但靠人力还能维护过来。但一旦规模突破上百台，系统上部署几十个应用，运维人员将疲于应付。随着系统越来越大达到几百台规模、上百个系统时，如果没有自动化工具运维人员将无法应付这种系统不断的升级，部署所带来的工作量。如果服务器数据突破千台、几千台，甚至过万，没有自动化的部署及运维方案及有可能随时崩溃，不能正常提供服务，这对公司来说是一个灾难。

1.3.1 自动部署思想

在自动部署方案的设计过程中融入了流程的思想，将问题聚焦在自动化和分层部署上，从母机开始，到IAAS 管理模块，再到所有计算模块，这样一步步的完成整个系统的部署。下面是一个自动部署的框架示意图。

根据MAC 地址

划节点角色自动化安装部行

京东自动部署整体架构

如上面的流程图所示，在整个过程中首先是根据所得到服务器资源去规划角色，定义好每一个服务器在IAAS所处的地位。在IAAS系统定义了一系列的角色：

●管理机：是一个管理IAAS集群的机器，负载IAAS集群其他角色服务器的安装与

升级。

●数据库，存储整个IAAS的运行时信息。

●MQ：连接松耦合下的各个IAAS服务模块。

●负载均衡：在IAAS集群中将负载分发到能提供所请求服务的模块。

●缓存：加速IAAS中的服务模块对请求的响应速度，提高集群性能。

●管理模块：负载调度IAAS集群中所维护的各种资源，并对创建的虚拟机进行全生

命周期的管理。

●计算服务：负载虚拟机的具体生命周期管理。

●网络服务：提供网络虚拟化相应的服务。

●请求接口（API）：对外提供统一的可编程及访问接口。

所谓角色规划的过程就是要将构建IAAS集群所需要的各种角色与服务器映射起来，再加上预先定义好的限制与规则，从而形成一份完整的IAAS集群配置文件。管理机将根据这份配置文件去远程构建IAAS集群；IAAS集群运行时的配置文件也会在此过程中生成。管理机的部署也十分简单，一键安装。

管理机安装成功后就可以批量地去安装其他角色的服务器的操作系统了。通过PXE机制安装的操作系统是经过安全和性能方面的增强的，批量安装操作系统，也代表着最下一层的安全解决方案部署成功。

操作系统安装成功后就可以根据规划好的角色去远程部署每个服务器所定义的IAAS服

务模块。

所有的部署完成后会自动触发一个验证过程，并最终生成验证报告。这时候，一个完整的IAAS集群就好了，可以投入运行。

1.3.2方案优势

综上可以看出，相对于其他的自动部署方案具有以下的优势：

●基于流程化定义部署策略

●99.5%的全自动部署

●能在0.5小时内安装1000台机器的操作系统，从祼机开始

●能在1.0个小时内部署IAAS系统需要的数据库、消息中间件等核心模块

●可以支持异构化的服务器，如IBM、HP和Dell的标准服务器

●模块化解决方案，部署时可灵活配置

●支持图形化和命令行两种操作模式

1.4统一管理

京东IAAS系统的统一管理平台，整合了IAAS系统运行中所需要关注和操作的各个功能。通过统一管理平台可以查看IAAS集群所有的运行时信息，还可以进行集群的管理（比如：创建、删除虚拟机，创建删除网络等）。

1.4.1统一监控

监控是云计算数据中心的关键技术之一，云计算相关的所有异常信息均被监控与告警。从而确保数据中心的稳定运营。