搜档网
当前位置:搜档网 › IBM数据交换平台建设方案

IBM数据交换平台建设方案

IBM数据交换平台建设方案
IBM数据交换平台建设方案

XX省电子政务系统

数据交换平台

国际商业机器中国有限公司 2005.5

目录:

1 概述

数据交换共享平台是协作式电子政务应用平台(包括政府职能部门之间的电子协作、政府与公众/企事业单位的服务管理等)的核心基础服务模块,负责实现跨系统的数据交换、流程控制和分布式数据存储服务。

数据交换平台的目的是实现每个合法用户将其所要传输的数据包安全可靠地传输到指定的地方。数据交换平台支持常见数据库类型、多种业务类型、多种数据传输方式和网络特性,是各类应用系统共享信息资源的公共渠道,是应用系统扩展的接口。

面向服务的体系架构

目前,大多数企业都有各种各样的系统、应用程序以及不同时期和技术的体系结构。集成来自多个厂商跨不同平台的产品和应用系统,一直是企业IT部门的主要挑战。面向服务的体系结构为解决这一问题提供了良好的途径。

SOA是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。

以服务为导向、开放、松散耦合的总体目标架构,在应用系统的规划设计时,我们遵循如下业务集成参考架构。

图IBM基于SOA的业务集成参考架构

SOA 的主要组件包括服务、动态发现和消息。

服务是能够通过网络访问的可调用例程。服务公开了一个接口契约,它定义了服务的行为以及接受和返回的消息。术语服务常与术语提供者互换使用,后者专门用于表示提供服务的实体。

接口通常在公共注册中心或者目录中发布,并在那里按照所提供的不同服务进行分类,

就像电话簿黄页中列出的企业和电话号码一样。客户(服务消费者)能够根据不同的分类特征通过动态查询服务来查找特定的服务。这个过程被称为服务的动态发现。

服务消费者或者客户通过消息来消费服务。因为接口契约是独立于平台和语言的,消息通常用符合XML 模式的XML 文档来构造。

SOA结构中,中立的接口定义(没有强制绑定到特定的实现上)的特征称为服务之间的松耦合。松耦合系统的好处有两点,一点是它的灵活性,另一点是,当组成整个应用程序的每个服务的内部结构和实现逐渐地发生改变时,它能够继续存在。而另一方面,紧耦合意味着应用程序的不同组件之间的接口与其功能和结构是紧密相连的,因而当需要对部分或整个应用程序进行某种形式的更改时,它们就显得非常脆弱。

对松耦合的系统的需要来源于业务应用程序需要根据业务的需要变得更加灵活,以适应不断变化的环境,比如经常改变的政策、业务级别、业务重点、合作伙伴关系、行业地位以及其他与业务有关的因素,这些因素甚至会影响业务的性质。我们称能够灵活地适应环境变化的业务为随需应变业务,在随需应变业务中,一旦需要,就可以对完成或执行任务的方式进行必要的更改。服务包括:

1)用户交互服务。为用户在界面上提供一个统一的信息服务功能入口。通过将内部和

外部各种相对分散独立的信息组成一个统一的整体,保证了用户既能够从统一的渠

道访问其所需的信息,也可以依据每一个人的要求来设置和提供个性化服务。

2)应用服务。通过HUB或总线架构,实现应用与应用之间的连接,完成相关的数据

路由与数据格式转换。

3)信息集成服务。实现数据或整合,在异构的数据源之间实现数据层的直接整合。通

过建立统一的数据模型来实现不同系统间的信息转换。

4)工作流程服务。实现业务流程管理,包括工作流管理、自动化流程两层面。它将不

同的应用系统连接在一起,进行协同工作,并提供商业流程管理的相关功能,包括

流程设计、监控和规划,实现业务流程的实时管理。同时支持行业标准(如RossetNet、ebXML、EDI、CIDX、SWIFT、FIX)以适应企业集中、扁平、透明的管理机制,

适应企业供应链、企业内部流程共享和流程优化。

5)B2B集成服务。通过多种连接方式,接入第三方的系统,如ERP等。

企业服务总线

每个企业在信息系统建设过程中必然涉及到多个应用系统(可能运行于不同的平台之上,采用不同的开发语言与模式进行开发)之间的相互集成需求(Information Connectivity&Integration或者大家熟知的EAI),采用何种集成体系结构必须慎重考虑。当前大部分的企业采用的应用系统之间的集成是一种点对点的体系结构,具体请见下图:

图基于点对点的集成架构

点对点的应用系统集成结构的出发点很简单,当两个系统之间需要相互协作时,为这两个系统开发相应的连接组件(Adapter)将二者互联。这种由简单出发的结构存在着严重的隐患:随着应用系统个数的增加,连接组件(Adapter)的数目将快速增长(总数为n*(n-1)个连接组件,其中n为应用系统的个数),而且在不同应用系统之间由于缺乏自动提交请求的机制,必须在相关的连接组件内部固化请求的提交功能,应用系统之间存在着高度的藕合性,这为系统的维护带来了巨大的复杂性,任何一个系统的升级或改动都将影响到其它与之相关的应用系统的修改;同时当一个新的应用系统需要纳入整个应用集成体系时整个工作变得非常复杂。

The Hub and Spoke提供克服传统点对点缺点和Enterprise Service Bus (ESB)趋势的分配和模块架构。重要的是一个建立在ESB上的集成趋势,它提供一个普通的商业目标模式,它运作起来像数据隔离层,分隔特别应用数据和逻辑过程相关数据。另外,相比以前的趋势,连接器和接口数减少,整合努力减少了。继续上面的例子,只有5个连接器和10个接口需要建设。

图基于Application Hub的集成架构

良好的EAI体系结构应该保证不同应用系统之间的高度内聚,同时又保持各个应用系统的相对独立性,系统之间存在着松散的藕合关系。基于Application Hub的EAI结构能够满足复杂的企业应用集成需求和发展的需求。

与点对点的EAI结构相比,在基于Application Hub的EAI体系结构中,连接组件的数目很少(一个应用系统对应于一个针对Application Hub的连接组件,总数为n个。n为被集成的应用系统的个数);而且各相互集成的应用系统之间不存在直接的关联,所有的集成工作通过中央Application Hub进行,当某应用系统需要与其它的系统集成时该应用程序发请求(一般通过消息的方式)给Application Hub,由Application Hub自动地将该请求转发给相应的目标系统进行处理后将结果返回给请求者。在这种体系结构中,系统的维护非常简单,每一个应用系统的更新和修改都能够实时地实现,同时当新的应用系统出现时能够简便的纳入到整个IT环境当中,与其它的应用系统相互协作,共同为用户提供服务。

企业服务总线(ESB)和以服务为导向的应用架构体系(SOA)紧密连接在一起,企业服务总线(ESB)是以服务为导向的应用架构体系(SOA)的核心组成部分。企业服务总线(ESB)为以服务为导向的应用架构体系(SOA)提供了连通性基础架构,它是SOA架构下Application Hub 的具体体现。如上图所示,在SOA架构上发布的业务服务是ESB的“用户”,这些基于SOA架构的业务系统所开放出来的服务通过ESB进行交互。它们的交互请求被以事件的方式进行发布和订阅。IBM的企业服务总线解决方案是WebSphere MQ以及WebSphere Business Integration Message Broker。

2 数据交换系统采用中间件的必要性

中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源,管理计算资源和网络通讯。它在计算机系统中是一个关键软件,它能实现应用的互连和互操作性,能保证系统的安全、可靠、高效的运行。

中间件的跨平台性可以屏蔽操作系统的差异,克服网络状况不理想的限制,另外,使用中间件可以缩短系统的开发周期,使集成商把更多的精力投入到各有价值的业务应用开发中。

目前中间件的种类很多,为实现安全、可靠的数据传输交换平台和应用整合方案,利用消息传输中间件(MOM)是最佳的选择。它简化了应用之间数据的传输,屏蔽底层异构平台,提供一致的通讯标准和应用开发,确保数据交换网络上可靠的、跨平台的信息传输和数据交换。它基于消息队列的存储-转发机制,并提供了特有的异步传输机制。优秀的消息中间件能够基于消息传输和异步事务处理实现应用整合与数据交换。

在XX省电子政务数据交换项目中,使用中间件的必要性有以下几个方面:

数据传输量大

数据交换应用系统建成以后是一个覆盖各委办局的复杂的应用系统,并且在这些节点之间存在大量的数据需要传输,在如此众多的应用节点之间如果缺乏快速可靠的消息传输机制,将导致整个系统的故障率大幅上升,从而使整个系统陷于不可用状态。因此快速而可靠的消息传输机制将是企业内部统一数据交换系统取得成功的重要保证。

数据传输的安全性要求很高

信息的准确性和安全性直接影响客户满意度

系统维护和管理的任务和风险很大,某些单位的工作人员的IT水平有限,需要采用一种自动化的数据传输和管理手段,降低系统维护的成本

与其他单位的数据交换

在实现数据交换的同时,电子政务系统还存在与其它系统进行数据交换的需求。

各种应用系统的互通,在多个应用系统之间进行数据交换,而未来参与数据交换的局委办应用系统数目更会不断的增加,如何应用维护的工作量最小。

在未来数据交换的进行过程中,对于用户需求的变化带来的用于应用系统之间交换的数据格式、数据内容的改变,如何进行有效的管理和维护。

鉴于以上方面的考虑,我们建议在电子政务数据交换项目中采用适当的中间件技术来实现项目的建设和规划。

为了解决数据传输的问题,我们推荐IBM公司的WebSphere MQ和Message Broker通讯中间件。WebSphere MQ是IBM公司为用户提供的消息服务中间件,以80%左右的全球市场占有率遥遥领先于其它所有的MOM(Message-Oriented Middleware)中间件产品。WebSphere MQ采用异步的消息机制在不同的服务器节点之间保证可靠的信息传递服务,在此过程中WebSphere MQ能够自动屏蔽各种异常和故障而保证将数据信息传送到目的地,每种信息将至少被传递一次而且只被传递一次。在电子政务数据交换应用系统中,采用WebSphere MQ,相关信息(以及其它任何所需的信息)能够在各局委办之间实现灵活而可靠的消息传递,即使在传输过程中网络或任何软件、硬件系统出现故障,WebSphere MQ也能够保证将信息安全地传送到目的地。

它的特点:统一的接口,缩短开发周期;可跨多种平台;保证复杂环境下的可靠传输;适用于分布式处理;处理不依赖于时间的限制。

我们建议采用IBM公司的应用整合中间件WBI Message Broker作为一个信息/数据总线。它提供了基于Application Hub的通讯连接和应用整合方式,能够有效地提供数据路由、加工处理和格式转换等功能。

Message Broker位于电子政务数据交换平台的核心,连接各个委办局,起到一个交通和通讯枢纽的作用。它可以简化系统的配置,同时提供各种数据处理服务,如:数据的计算、过滤、数据库操作等;实现各种不同数据格式之间的转换,如:传统数据格式与XML格式之间的转换;实现基于数据内容的智能路由,从而调用不同的字模块所提供的服务;对原有应用的修改减少到最低限度,并具有高可扩展性。

3 IBM 解决方案

3.1 方案描述

XX电子政务数据交换平台是是基于成熟可靠的JMS技术的数据交换、数据流管理和跨厅局协同工作功能的应用支撑平台系统。

信息交换系统是电子政务综合业务支撑平台所提供的关键服务。通过信息交换系统,实现电子政务系统跨平台、跨系统、跨应用、跨地区的互联互通和信息共享,为政府部门之间进行公文交换、网上审批等提供支持。

数据交换中心处于核心位置,通过配置在数据交换中心的数据交换服务器提供的标准化的适配器和接口为每个数据交换节点(需要进行数据交换的各个厅局)提供服务。每个数据交换节点只需要与数据交换中心通过数据适配器进行交互,并通过XML进行数据转换。

在充分了解当前项目需求并考虑未来扩展的基础上,建议采用如下的系统架构来实现数据交换平台。

“数据交换平台”功能架构图

在上面的系统架构图中,主要由如下几个主要功能模块组成:

可靠的消息传输服务

可靠的消息传输服务是"数据交换平台"最重要的底层基础服务。利用消息中间件软件,通过业界流行的队列机制可以方便地实现跨越不同厅局、不同网络、不同操作系统的数据交换与共享,并可以透明地处理诸如宕机、网络堵塞、网络中断等各种复杂的通讯异常。

该基础模块提供了标准的数据封装接口,能够以多种协议为基础实现数据交换功能,屏蔽底层通讯机制,从而提供了可靠的数据传输保证。

消息代理服务

消息代理服务是"数据交换平台"的核心服务。消息代理服务运行在基础消息传输服务之

上,为数据交换平台提供了强大的信息格式转换与信息路由的功能。其高性能的消息处理引擎,灵活的系统扩展机制与负载均衡的架构设计,完全满足了"数据交换平台"未来的升级扩展。

人员交互、安全认证、管理监控、信息存储等辅助服务

相关平台辅助服务是"数据交换平台"不可或缺的功能,进一步简化并完善了平台的功能。

我们建议在省电子政务系统中心配置WebSphere Business Integration Message Broker, 在各局委办安装配置WebSphere MQ 。

消息代理消息代理1 对于WebSphere MQ 来说,两个WebSphere MQ 系统要进行通讯,需要建立它们之间WebSphere MQ 的逻辑连接——通道。因此在这里需要在每一节点上为需要进行通讯的相邻的节点定义配置WebSphere MQ 通道。

采用这种点对点的通讯方式,如图:

系统将会是一个复杂的网状结构,n个系统要建立n(n-1)个连接,系统的维护和管理将会比较复杂,重要的是局委办的数量很多,并且它们之间存在着互相通信的需求,在这种情况下,如果将这么多的节点两两相连,其配置将会比较复杂,最为重要的是,其管理和维护的成本会很高,所以这种方法显然是不可行的。

Message Broker的设计理念恰恰是要改变这一结构的弊端,将网状结构变为星型结构,它采用”hub and Spoke”的设计思想。大大减少系统间的连接个数,从n(n-1)个减少到n个,使系统的配置和管理大大简化。

随之而来的是,系统的可扩展性大大增强,每新增加一个局委办,不必建立它和其他局委办之间的两两连接,而只需连接到Message Broker上,通过Message Broker便可以实现与其余支局的连接和通讯。

这样,我们构造了一个WebSphere MQ通讯网络,作为各种应用系统的公共数据传输平台,使得纵向、横向的信息可以在系统内部顺畅地流动,而不会因为网络或系统故障造成信息的丢失或重复传递。对于各种应用程序来说,只需调用WebSphere MQ提供的编程接口来发送/接收消息即可,大大提高了应用开发的效率和质量,并降低了系统维护的难度。

此外,在各应用系统通过中心数据交换平台进行数据交换时,如何根据数据内容的确定数据的路由选择也是一个较大的挑战。Message Broker的智能路由功能能够让用户根据消息的格式和内容定义消息转换和路由决策,规则的定义可以通过GUI界面来实现,十分简单易行。如我们可以在数据中设定路由信息标志位,MQ本身是无法解析数据报中内部的具体信息的,而Message Broker,可以解析和识别消息的具体内容,可以根据消息中设定的路由标志位进行数据的智能路由。如:从A市将数据发给Message Broker,Message Broker可以智能地分析数据的目的地,并准确将数据转发出去。

通过智能化数据路由和转换功能,用于可以在应用程序之间实现消息流,同时满足业务过程的数据流要求;同时它可以随着业务要求的变化而变化,当业务需求变化时,仅需对Message Broker,做必要的更改,而无需改动原有的应用程序,使系统的可扩展性大大增强。

除了智能路由功能之外,Message Broker还具有以下更加丰富和完善的功能:

对数据的各种复杂的计算和处理功能。它用每一个Node表示对消息的一种处理,如compute node 可以对消息进行各种计算操作,其他Process Node 有:input node, output node, filter node, check node 等;node 与node相连,便组成了一个Message Flow,由各种“Processor Node”组成的Message Flow,可对消息进行各种处理操作,在消息从数据中心经过时便可以被进行相应地计算,从而发往目的应用系统;

数据格式转换和路由服务。Message Broker提供多种数据格式服务,其中包括:自定义格式,用户可以通过MRM(Message Repository Manager)来定制自己的消息格式;XML格式;面向纪录的信息格式,如C的头文件,COBOL records等。对于这些消息格式,它提供

相应的剖析器进行解析,实现它们之间的格式转换。如对于用户的bit stream的输入信息可以输出为XML的格式,反之亦然。

与数据库紧密集成。提供了与DB操作相关的各种Node, 如INSERT,UPDATE,DELETE 等Node,用户可以之间通过ESQL进行和数据库的操作,如把数据存入数据库,从数据库中取数据等;这样,当数据通过Message Broker时,我们便可以将数据进行各种数据库操作,为今后的数据仓库做准备。

应用整合功能,Message Broker是IBM的应用整合中间件。从电子政务系统的一个横截面来看,存在很多业务系统,在系统今后的发展过程中,必然需要进行应用整合,即实现各个子系统之间的数据交换和数据共享。

为了实现各应用系统间的数据交换和数据共享,我们更加建议星型Message Broker 解决方案——即位于同一层次上的各应用系统均通过它互相连接。

考虑到在各业务系统建立时都是以各业务部门为主进行,且各自的业务属性也有较大的不同,故各应用系统间在数据定义、数据格式上必然会存在着或多或少的差异性。这就为各应用系统间的数据交换带来了一定的困难。通过Message Broker,用户完全不需要专门开发接口和路由选择程序,只需要在中心的Message Broker上对每个业务系统的数据格式作相应定义,并定义相关的数据路由规则即可。这样一方面简化了其实现方法,另一方面大大提高了系统的可维护性。

3.2 方案设计中的核心要点:

1)采用业界成熟的产品:对于一个企业级的应用,这一点是非常必要的;

2)采用一个合理的架构:在通讯节点众多时,要避免采用复杂的网状架构,要采用先进的星型架构;

3)关于MQ Server和MQ Client的选择:

MQ Client为我们提供了一个MQ应用程序的开发和运行环境,它是MQ API的Client 实现。在Client环境下,没有队列管理器、队列等对象,它通过MQI通道与Server之间建立实时的通讯,并将消息从Client端发往Server端的队列,或从Server端的队列中取得消息。

MQ Client提供下列好处:适合同步处理的工作模式;减少系统负担;减少系统管理开销;减少磁盘空间要求等。

MQ Client比较适合于网络条件较好或实时通讯的情况。它的劣势在于以下几方面:它和服务器端是一个实时、同步的连接,失去了MQ Server产品所具有的异步、可靠传输的特点;

在大数据量传输时的效率问题,在进行大数据量传输时的问题,由于要进行拆包处理,这时为了保证数据的完整性,我们要对多个被拆的小包设置在同一个工作单元中,用Client 传输时,如果中间网络断了,所有的包都会被回退,然后被重传,降低了传输效率。

通讯方向问题:MQ Client和Server之间的通信是单向的,Client只能向Server发数据,在取数据时,它只能主动地到Server上取,这时就必须利用一个轮循程序,不断地到Server 上去取,在轮循的间隙,如果网络出现问题,该程序就会出现问题,被挂起,必须人工干预来将该程序重起。

其它方面的功能:MQ Client不具备其他一些Server具有的重要功能,如:SSL加密,群集负载均衡等。

MQ产品分为Server和Client 两种版本,与Client不同,Server的运行环境拥有队列管理器、队列、消息通道等对象,它提供全面的消息服务。通常在广域网环境下,以及在企业

与企业之间进行通讯的情况下,我们都建议配置MQ Server对Server的通讯环境。

MQ Server是一个异步传输中间件,用于实现客户位于不同系统、不同平台下的数据交换。WebSphere MQ具有强大的跨平台性,可以支持35种平台,它利用消息机制实现应用系统间数据的传输和通讯,无论出现何种异常故障(如网络断线、网络阻塞、系统当机等),都能确保应用程序数据在传递过程中不丢失、不重复,而当故障恢复时,WebSphere MQ 可以将未成功发送的信息自动发送至应用系统,而无需人工干预。

在大数据量传输上,在MQ中有逻辑消息和物理消息的概念,利用逻辑消息和物理消息,我们可以将大消息进行分段处理,也可以将若干个本身完整的消息在应用逻辑上归为一组进行处理。对于分段消息的传输,MQ用一阶段提交的方式来处理,即把所有segment消息当成一个完整的事务,保证他们或者都被传输到接收方的应用程序,或者一个都不传输。

MQ Server之间可以通过自身的群集功能,实现负载均衡。

MQ Server的队列管理器可以具有事务控制的功能,即它可以利用与数据库之间XA 的连接,实现数据库与MQ队列操作的两阶段提交。

MQ Server支持触发、消息分发/订阅等功能。

在安全控制方面,MQ Server支持Server之间通道的SSL加密。

在可靠性上,MQ Server支持HA。

从XX电子政务的业务需求来看,各个局委办之间的数据传输,可以用异步的处理方式处理。要在网络条件畅通的前提下,及时发送到达。在这种需求下,建议采用MQ Server。

另外,针对XX电子政务目前的网络状况、系统的规模以及可靠性、安全性的要求,我们认为使用MQ Server能更好地满足系统需求。

3.3 推荐配置

省中心:

软件:WBI Message Broker

硬件:IBM pServer 570, 操作系统:AIX V5.3

各局委办:

软件:WebSphere MQ Server

硬件:PC Server,操作系统: Linux

各局委办

服务器服务器服务器服务器

4 IBM解决方案的优势

WebSphere MQ和Message Broker在电子政务数据交换系统的优势主要表现在传输的可靠性、安全性、灵活性、应用集成和数据交换等诸多方面。

4.1 强健的数据传输系统,灵活的通讯方式

采用WebSphere MQ可以实现关键数据在任意网络环境中的安全、可靠传输。

采用消息中间件WebSphere MQ的应用系统是三层次的结构,而由于将通讯逻辑的部分独立出来,使得系统的可移植性、可扩充性和可维护性都大大提高。中间件是随着计算机在社会生活的各个层次广泛应用近年来迅速发展、壮大起来的一个软件领域。在系统应用的层次结构中,中间件位于操作系统和用户应用之间。对应用程序来说,其主要作用是屏蔽操作系统和网络协议。应用开发人员编程时只需利用中间件产品提供的跨平台的、统一的接口,而不必考虑操作系统的差异。在提高应用程序的可移植性的同时也缩短了应用开发的周期。中间件的采用可以为我们节约大量的人力、物力和财力,使我们可以将更多的精力投入到真正有价值的业务应用的开发中。

4.1.1 全网通信能力,灵活的通讯方式

采用WebSphere MQ作为电子政务数据交换系统的通讯平台不但可以使整个系统在较短的时间内建立起广域网上的可靠的数据交换系统,还能够为以后应用系统的扩充提供统一的通信接口。另外,WebSphere MQ还支持与数据库协同工作(如IBM DB2,Oracle等),并可连接办公自动化系统软件(如LotusNotes等)、系统管理软件(如Tivoli等)、企业资源规划系统(如SAPR/3)等。因此,从发展的角度看,选择WebSphere MQ不仅可以作为统一的通讯平台,还能够实现整个企业各个应用系统的业务整合,实现信息在最大程度上的共享。

WebSphere MQ提供了基于消息队列的通讯机制,而利用这种通讯机制提供给应用程序极为灵活的通讯方式:一对一、一对多、多对一、多对多的关系;实时的、批量的数据传输;同步的、异步的通讯模式。

从电子政务数据交换系统的数据传输实时性上来看,数据的传输可以分为实时数据传输和集中数据传输两类。从传输方式来看,可以分为点对点传输和单点对多点的分发式传输。显然采用WebSphere MQ可以很好地满足上述多种传输方式。

4.1.2 路由

利用WebSphere MQ,可以方便地实现关键数据在各局委办之间的传输。整个网络的任何两个节点之间通讯,不需要建立直接的物理连接,而可以通过MQ的通讯网络来实现。

4.1.3 可靠性

WebSphere MQ由于采用了先进的程序设计思想以及内部工作机制,保证消息的可靠传递,即只传一次,不丢失、不重复,可以克服一些地区网络线路质量差的现状。

同时WebSphere MQ支持永久性的(Persistent)消息和队列,永久性的消息保存在硬盘上,

并提供独立的日志(log)系统,当关机和系统掉电消息仍完好地保存在队列中,即使存放消息的硬盘发生介质故障,我们仍然可以从日志中将消息恢复出来。相应地,WebSphere MQ提供了一整套消息的备份和恢复手段。

因此,采用WebSphere MQ可以在最大程度上保证信息的可靠传输,而且利用WebSphere MQ的先进的传输机制,应用程序只需运行一次,将信息放入MQ的队列中,MQ将负责将其传送到目的系统的队列中,而不再需要人工的干预。

利用WebSphere MQ不但可以支持数据的断点续传,而且如果在传输过程中,通信线路出现故障或远端的主机发生故障,本地的应用程序都不会受到影响,可以继续发送数据,而无需等待网络故障恢复或远端主机正常后再重新运行。

同时MQ确保信息只传输唯一的一次,而不会发生数据重复的问题。MQ的这些特点可以帮助我们极大的提高数据传输的可靠性和效率。

4.1.4 安全性

WebSphere MQ可以实现安全的数据传输,支持SSL加密。

MQ为我们提供了全方位、多层次的安全管理。确保队列管理者所拥有的资源不被非法存取,防止消息泄漏。MQ提供了OAM(Object Authority Manager)机制实现资源级和应用级的安全控制,OAM维护了各种资源的Access Control List(控制列表);在消息级别上,还设置了Message Context标识。这些机制从以下几个方面保证了系统内部的安全性:用户应用与队列管理者的连接;用户对MQ资源,如队列、通道、过程的操作;队列管理器的管理命令;对消息的存取等。

MQ为用户提供了多种途径确保网络传输过程的数据安全。

安全出口:主要用于两个MQ Series系统之间通道启动时的双方的身份认证;

发送和接收出口:可以用来进行数据的加密/解密以及数据的压缩/解压缩;

消息出口:可以用来在消息级实现用户的特定功能,如数据转换,加密/解密等。

此外,MQ Series在TCP/IP上还支持防火墙。

4.1.5 系统架构的可扩展性

可以随着业务规模的扩大或项目的进行,随时增加新的城市,能够与现有系统无缝整合,又能随时增加新的应用,大大减少系统间接口开发的个数。

4.2 统一的应用开发接口,简化开发

WebSphere MQ支持35种不同的软硬件平台,在所有这些平台上WebSphere MQ均提供相同的应用编程接口,便于应用程序在不同的平台之间进行移植。WebSphere MQ 提供的API函数共有13个,开发简单迅速,可大大提高软件开发的效率。

4.3 跨平台性和异构系统连接能力,屏蔽网络和系统异构性

WebSphere MQ支持35种系统平台,包括IBM和非IBM。应用开发人员编程时只需利用中间件产品提供的跨平台的、统一的接口,而不必考虑操作系统的差异。利用WebSphere MQ可以简单有效地实现跨平台,跨系统,跨网络协议的消息通讯和应用整合。将企业复杂

的信息孤岛联接成为共享的信息资源。

4.4 分布式系统上的数据一致性

WebSphere MQ对交易处理的支持分为三个层次:

首先,WebSphere MQ内部一系列队列的存取操作可以构成一个工作单元,同时进行提交或回退。

其次,支持XA标准,可以在多种交易处理软件的参与下实现WebSphere MQ队列操作与数据库操作的同步,完成两阶段提交;

其三,WebSphere MQ在作为资源管理者的同时,可作为资源协调者,具备部分交易处理管理器的功能,可以在没有交易处理软件参与下,通过XA标准控制WebSphere MQ与数据库的协同工作,实现了与数据库更为密切的结合。

WebSphere MQ如此全面的对交易处理的支持,是任何同类产品都无法比拟的。

在电子政务数据交换需求中,涉及到MQ与数据库的协同工作,利用MQ的优越特性,可以保证数据的一致性和交易完整性。

4.5 可维护性

MQ为用户提供了良好的管理界面,方便用户对中间件系统的配置和管理工作,通过管理界面,用户可以定义、修改、删除中间件的各种资源、对象,察看各种对象的属性,监控各种对象的运行状态;在各个平台上使用的系统管理命令是相同的,在一个有若干平台共存的系统中大大地方便和简化了系统管理的工作。

MQ提供了远程管理机制,在互相联接的系统中的任意一个节点都可以进行对其他所有节点的配置和管理,在NT/2000平台上还提供了图形界面的管理工具。可以把一个节点设成管理机,利用管理机可以监控和配置网络中的任一节点,监测和显示整个网络中任何一个节点上的服务器及其各种对象的状态和运行情况,从而实现对中间件的集中管理和监控。

MQ不仅自身提供了GUI和文本化监控工具来监测和显示对象的状态,并且能够利用各类网管软件对整个网络运行状况实施监控;如Tivoli Manager for MQ就是一个功能强大的综合管理工具:它为控制消息和应用程序框架提供了一个集中管理平台。它捕获和显示MQ 的事件,并能发现新的队列管理员以及相应的对象,这些对象可以通过中央控制台进行定义和配置。除此之外,许多第三方厂家也提供有类似的管理工具。

4.6 数据交换机制

通过在中心采用Message Broker的解决方案来实现各业务系统之间的数据交换和路由,这样各系统间不必为与其它系统的数据交换分别开发系统接口,而只需要将其信息定义格式以及与其它业务系统的数据交换规则(如信息格式转换方式、额外的信息处理工作以及信息的路由规则等)预先在综合信息中心的Message Broker上进行定义即可。

以上数据交换机制的优势主要在于:

首先,通过建立数据交换中心能够大大降低建立各业务系统间数据交换机制的复杂度和工作量。

其次,便于统一集中管理各业务系统间的数据交换,避免无序混乱的数据交换。

最后,这种集中式的数据交换机制具有极大的灵活性,既有利于以后新的业务系统与原

有系统的整合的连接,并且当原有业务系统发生变更时,其相应数据交换方式的修改也非常简单。

4.7 不同应用系统的整合

如果对于局委办有许多不同时期、不同厂家开发的应用程序,这些应用程序位于不同的系统,使用不同的编程语言和不同的通讯方法。消息队列技术可以在这些差异之间架起桥梁。

消息队列是非常强大的技术,只需在每一应用程序中进行简单的编程就可以实现一对一、一对多、多对一、多对多的连接。通过消息队列技术,可以简单地交叉连接应用程序,而新增的功能使之可以将系统的优势扩展到整个网络。采用Message Broker还能够实现诸如自动数据格式转换、动态路由以及企业应用整合等高级业务整合功能。

数据共享交换平台的设计方案

数据共享交换平台的 设计方案 1.1应用场景 ?场景一:电子业务统一平台与其它单位的信息交换 由于各单位信息化进程不同,特别是一些垂直管理单位已经建立起了自己专门的网上办公系统,这些单位如果要接收市公文,都必须通过手工录入,无法进行信息的自动交换,通过数据交换平台,结合简单的接口开发,能使市电子业务统一平台与已有业务系统之间实现信息的自动对接和交换,提高办事效率,减少人为错误。 ?场景三:基础信息库 基础信息库包括:人口基础信息库、企业基础信息库、宏观经济基础信息库、地理基础信息库。这些基础信息是**重要的信息资源,但这些信息分散在各个部门,各个单位独立存储,信息不全,也不具备权威性. ?场景四:领导决策支持 科学发展观是当前各级**的重要理论指导依据,科学发展观必须要求有科学的决策,正确的决策需要有科学准确的数据作为支撑,但现阶段大量的数据分散在各个单位业务系统中,各自通过纸质进行报送,一方面这些数据缺乏准确性和实效性,另一方面不同单位数据之间无法产生在的联系,不利于正确的决策。要建立有效的数据采集和分析系统,自动从各单位系统中采集数据,然后通过建立相应的模型进行分析,得出相对准确的结论,比如房地产,涉及国土、税务、房管、银行、运输、电力等。利用数据交换平台可很好的从不同系统中采集信息,使开发者不需要关心数据的采集和传输问题,只需要解决与决策有关的业务问题。 ?场景N:…… 随着电子业务的深入,数据交换平台的利用会越来越多,好比是经济发展需要修建高速公路一样……

1.2术语介绍 (1)企业基础信息 工商、国税、地税、质监等部门涉及到企业注册登记、变更、注(吊)销、年检、税务登记、组织机构代码登记等业务容的基础信息,具有跨部门共享需求的特征。 (2)企业基础信息交换平台 工商、国税、地税、质监等部门之间进行企业基础信息交换的通讯、传输与管理系统。 企业基础信息交换平台是指成熟的应用集成和数据交换中间件产品。 (3)交换前置机 企业基础信息交换平台中与工商、国税、地税、质监等交换节点进行信息交换连接的交换前置服务器。 (4)信息交换桥接 工商、国税、地税、质监等部门业务应用信息库与前置交换信息库之间信息安全交换的连接通道。 (5)企业基础信息库 存储、管理企业基础信息的数据库。 (6)前置交换信息库 工商、国税、地税、质监等部门与企业基础信息交换平台之间共享信息双向交换的中转数据库。 (7)业务数据库 业务数据库是指各个委办局保存业务数据的数据库,运行在委办局的网中。如税务部门的税务征管数据库,工商部门以“经济户口”为主要容的工商业务数据。 (8)应用系统 应用系统是指本项目开发的部署在各委办局节点前置机上的桥接系统、中心数据管理系统、数据比对和整合系统等应用的总称。 (9)中心数据管理系统 中心数据管理系统是指本项目开发的实现交换数据查询和管理等功能的应用系统。 (10)数据比对整合系统

数据交换平台解决方案

数据共享交换平台解决方案 1. 概述 在我国,政府职能正从管理型转向管理服务型,如何更好地发挥政府部门宏观管理、综合协调的职能,如何更加有效地向公众提供服务,提高工作效率、打破信息盲区、加强廉政建设 已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求“政府行政管理 要积极运用数字化、网络化技术,加快信息化进程”。各级政府、行政管理部门都面临着利用 信息技术推动政务工作科学化、高效率的新局面。 随着电子政务建设的不断发展,政府拥有越来越多的应用数据,如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程,实现分布在各类政府部门和各级政府机关 的信息资源的有效采集、交换、共享和应用,是电子政务建设的更高级的阶段和核心任务。 信息资源只有交流、共享才能被充分开发和利用,而只有打破信息封闭,消除信息“荒岛” 和“孤岛”,也才能创造价值。目前各级政府都在进行政务资源数据的“整合”,但“整合”什么? 如何“整合”?“整合”后做什么?将是摆在政府各级领导面前的首要问题。 北京华迪宏图信息技术有限公司凭借自身丰富的电子政务建设经验、自主创新的技术研发优势,为各级政府机构的实际需求提供了政务资源整合的综合解决方案——华迪宏图数据共享 交换平台。 2. 电子政务总体框架 华迪宏图数据共享交换平台总体框架如下: 由上图可以看出,华迪宏图数据共享交换平台交换体系共分为六个层次,分别是安全和标准体系、网络基础设施、信息资源中心、共享交换平台、应用层和展示层。 (1)展示层 通过建立综合信息集成门户系统为用户提供统一的用户界面,信息和应用通过门户层实现统一的访问入口和集中展现。 (2)应用层

数据交换平台可行性研究报告

XX市电子政务数据交换平台可行性研究报告

目录 第一章概述 (3) 1.1建设背景 (3) 1.2应用场景 (3) 1.3编制依据及参考资料 (4) 第二章必要性、可行性及效益分析 (5) 2.1必要性分析 (5) 2.2可行性分析 (5) 2.3效益分析 (5) 第三章建设目标、思路及原则 (6) 3.1建设目标 (6) 3.2建设思路 (6) 3.3建设原则 (6) 第四章总体设计 (7) 4.1系统总体结构 (7) 4.2系统逻辑结构 (7) 4.3系统物理结构 (8) 第五章数据交换平台功能设计 (9) 5.1交换中心管理系统 (9) 5.2接入管理系统 (10) 5.3交换前置子系统 (12) 5.4交换桥接子系统 (13) 5.5运行监控平台 (14) 5.6系统管理 (15) 第六章交换平台安全设计 (17) 6.1威胁与风险分析 (17) 6.2安全需求分析 (17) 6.3身份认证和授权管理设计 (18)

6.4数字证书认证 (19) 6.5数据交换过程的安全保障 (19) 第七章数据交换中间件选型 (20) 7.1数据交换中间件技术要求 (20)

第一章概述 1.1建设背景 国务院总理温家宝在十届全国人大三次会议上作政府工作报告时提到:“大力推进政务公开,加强电子政务建设,增强政府工作透明度,提高政府公信力。”可见,电子政务建设仍然是今后几年国家信息化工作的重点之一。 随着政府投入的增加,市电子政务建设也呈现出快速发展的态势,2009年初完成了全市统一电子政务平台和全市公文交换系统建设,系统采用集中建设的模式,实现了×个市直单位的网上行政办公和区县的公文传输。 在取得成绩和进步的同时,实际操作过程中也碰到很多问题,比如发展水平参差不齐、条块分割、架构不统一。比如,以前所建的系统,大多数都是属于局部单位的、分散建设的和只有部分功能的系统。这些系统相互之间没有统一的标准,采用不同的系统平台,形成了一个个信息孤岛,不能发挥整体的作用。但这些已存在的业务系统通过多年的积累已产生了大量的业务数据,要通过有效的手段去挖掘和利用这些系统中的数据为我市电子政务建设服务。 为了改变电子政务系统建设中存在的分散状态,充分利用和挖掘已存在系统中的数据,使电子政务建设走向健康发展的道路,一方面要从现在开始做好有关规划工作,也要利用先进成熟的技术解决已存在的问题。 经过多年的探索和发展,国内数据交换平台已经日趋成熟,数据交换平台的实现为解决电子政务领域的条块分割、信息孤岛等问题提供的很好的解决方案。 1.2应用场景 ?场景一:电子政务统一平台与其它单位的信息交换 由于各单位信息化进程不同,特别是一些垂直管理单位已经建立起了自己专门的网上办公系统,这些单位如果要接收市公文,都必须通过手工录入,无法进行信息的自动交换,通过数据交换平台,结合简单的接口开发,能使市电子政务统一平台与已有业务系统之间实现信息的自动对接和交换,提高办事效率,减少人为错误。 ?场景三:基础信息库 基础信息库包括:人口基础信息库、企业基础信息库、宏观经济基础信息库、

政府数据交换平台解决方案

政府数据交换平台解决方案 目前,国内各地政府部门和机构或多或少均建立起自己的信息化系统,包括门户网站内容管理系统、OA办公系统、办事审批系统、其它业务系统等。但由于诸多因素的影响,即使同一地区的政府机构间也无法进行合理、有效的沟通,可以说是一座座的“信息孤岛”。电子政务实施的任务之一就是要将这些“孤岛”有机地串连在一起,充分发挥其效能,同时也保护了各部门在该方面的经济投入和精力投入。此外,电子政务建设过程中,即使是统一规划,但具体的实施单位和解决方案会有很多,建设完成后的系统常常是自治的,异构的,数据可能存放于数据库、文本文件、XML文件,甚至普通文件中。因此也需要一种机制使不同时期建设的应用系统能有机地结合为一个整体。上述两种情况,均要求解决应用系统间数据和信息的互通、互用问题。 如上图所示,原来的典型处理方法是需要一个个直接的“点对点”的数据链接,并且需要定制开发以实现系统之间的“会话”。随着新系统的不断增加,直接的定向连接和定制开发的情况会急剧增加,这最终将成为信息流动和系统维护的瓶颈。 在数据交换领域中,没有标准的部落式交换的代价是高昂的,相同的数据分析处理模块在很多应用中被重复地撰写,可能只是为了将某一数据源的数据转换到各个不同的目标数据源中去。由于没有中间标准,各个系统的实现人员也几乎没有可能将代码重用,昂贵的数据交换代价使得数据源只能散乱孤立地存在。 因此,有必要建立一个通用的、分布式的数据集成平台,用以解决电子政务实施过程中对于基于异构数据平台上的数据无法进行有效交流和沟通的问题。“大汉网络数据交换平台”就是解决该类问题的一个解决方案。

“大汉网络数据交换平台”能够为需要数据集成的应用提供数据服务,解决数据从何而来,哪个应用对其感兴趣,以及如何被每个系统使用的问题。“大汉网络数据交换平台”通过把信息提供者和消费者隔离,来构建灵活的系统,使得这些系统不会受到数据的物理位置的影响,也不会受到需要存取数据信息的应用个数的影响,对于每一个系统就不需要进行特别的定制处理,就可以在系统之间实现信息的集成了。 “大汉网络数据交换平台”通过一个集成框架的方案来解决这个问题,通过为开发人员提供一组标准接口(适配器)来实现这个方案。 “大汉网络数据交换平台”主要功能为:各应用系统数据的抽取或加载;交换数据通过交换平台完成数据的交换传输;各应用系统交换数据的比对、整理。各应用系统仅需负责确定本系统参与交换的数据,而不必关心数据库之间数据的传送。 二、系统设计 1.设计原则 数据交换平台应遵循以下几个基本设计原则: 不影响现有或其它相关信息系统的使用和信息安全。 采用先进成熟、稳定的技术和软硬件平台。 坚持开放性,易于技术更新。 采用国际通用标准,便于和国际接轨,易于系统扩展及升级。 建立一个坚实的系统应用平台,便于系统的管理和维护,技术易于更新,网络及业务规模可以逐步扩展。统一规划,分步实施。

数据中心同步平台建设方案

数据中心同步平台建设 方案 Hessen was revised in January 2021

数据中心同步平台建设方案 第一章概述 平台建设背景 当前政府、企业的信息化的状况是,各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统,独立、异构、涵盖各自业务内容的信息处理系统,系统设计建设的时期不同、业务模式不同,信息化建设缺乏有效的总体规划,重复建设;缺乏统一的设计标准,大多数系统都是由不同的厂商在不同的平台上,使用不同的语言进行开发的,信息交互共享困难,存在大量的信息孤岛和流程孤岛。为了有效整合分散异构的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平。宇思公司要开发的数据共享交换平台,主要目的是有效整合分散异构系统的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平,灵活实现不同系统间的信息交换、信息共享与业务协同,加强信息资源管理,开展数据和应用整合,进一步发挥信息资源和应用系统的效能,提升信息化建设对业务和管理的支撑作用。 要求新构建的数据共享交换平台要遵循标准的、面向服务架构(SOA)的方式,基于先进的企业服务总线ESB技术,遵循先进技术标准和规范,为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务,实现扩展性良好的“松耦合”结构的应用和数据集成;同时要求数据共享交换平台,能够通过分布式部署和集中式管理架构,可以有效解决各节点之间数据的及时、高效地上传下达,在安

全、方便、快捷、顺畅的进行信息交换的同时精准的保证数据的一致性和准确性,实现数据的一次 数据共享交换平台-设计方案 采集、多系统共享;要求数据交换平台节点服务器适配器的可视化配置功能,可以有效解决数据交换平台的“最后一公里”问题,快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享,为各种应用和决策支持提供良好的数据环境。要求数据共享交换平台能够把各种纷繁复杂的数据系统集成在一起完成特定业务,提供同构数据、异构数据之间的数据抽取、格式转换、内容过滤、内容转换、同异步传输、动态部署、可视化管理监控等方面功能,支持的数据包括各主流数据库(如Oracle、SQL Server、MySQL等)、地理空间数据(如卫星影像、矢量数据)、常规文件(word、excel、pdf)等各种格式,并可以根据用户需求定制开发特定业务服务。 应用场景 场景一:中国科学院电子学研究所的信息交换需求 实现各个数据中心间的数据库层面的数据共享交换,各中心之间是双向的、实时的数据交换,各数据节点的数据库是同构的数据库系统(即Oracle),数据的类型是基于数据库表格的规则数据,字段类型包含BLOB字段类型。目前各数据节点的数据结构(表)是相同的,主要是一表对一表的数据交换,数据抽取和过滤需求比较简单。目前数据共享交换是通过Oracle GoldenGate数据库同步工具来实现的。 用户具体需求包括:

数据交换共享整合系统平台技术方案

数据交换共享整合协同平台设计整合协同平台的主要功能是从其它子系统中提取共享数据,并对多来源渠道的、相互不一致的数据进行数据融合处理;基于数据字典对实时数据和历史数据进行组织,以保证数据间关系的正确性、可理解性并避免数据冗余;以各种形式提供数据服务,采用分层次的方法对各类用户设置权限,使不同用户既能获得各自所需要的数据,又能确保数据传输过程的安全性及共享数据的互操作性和互用性;维护基础信息、动态业务数据以及系统管理配置参数;支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分:第一部分,基础数据和共享数据的交换服务和路由流程管理,该部分是交换平台的基础,包括:静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。 第二部分,各子系统之间的接口实现,根据事先制订好的规范、标准,实现各子系统之间的数据共享和传输操作。在接入中心平台时,应按系统集成要求设计系统结构,各类数据接口遵循系统集成规范。 中心平台设计 平台功能结构 整合协同平台服务器是公共基础平台的核心部分,XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成,解决数据采集、更新、汇总、分发、一致性等数据交换问题,解决按需查询、公共数据存取控制等问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA整合协同平台向数据中心提供数据,也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下: 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。 功能流程说明: 数据供需方的接口数据系统:为了满足应用层交换和数据层交换,交换代理必须有应用层和数据层的连接和接口适配功能,数据代理必须有数据格式的转换功能。 数据传输:为了保证数据的正确传输和传输性能,必须有传输管理功能,包括了传输协议管理和控制,传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功能。 数据整合协同平台: 会话管理:为了能提供数据的交换方式如主动(推)、被动(拉);支持定时和实时策略,支持超时控制管理等功能,数据交换平台必须有会话策略、会话控制和管理功能。 数据管理:为了数据能按标准进行交换,能按照部署的路由规则进行交换,必须有数据路由、数据模板管理、数据解析、数据转换等功能。 系统管理功能:同时数据交换平台还应该提供服务管理功能,包括运行管理,部署管理,服务管理,系统日志等功能

数据交换共享整合系统平台技术方案

数据交换共享整合协同平台设计

整合协同平台的主要功能是从其它子系统中提取共享数据,并对多来源渠道的、相互不一致的数据进行数据融合处理;基于数据字典对实时数据和历史数据进行组织,以保证数据间关系的正确性、可理解性并避免数据冗余;以各种形式提供数据服务,采用分层次的方法对各类用户设置权限,使不同用户既能获得各自所需要的数据,又能确保数据传输过程的安全性及共享数据的互操作性和互用性;维护基础信息、动态业务数据以及系统管理配置参数;支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分: 第一部分,基础数据和共享数据的交换服务和路由流程管理,该部分是交换平台的基础,包括:静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。 第二部分,各子系统之间的接口实现,根据事先制订好的规范、标准,实现各子系统之间的数据共享和传输操作。在接入中心平台时,应按系统集成要求设计系统结构,各类数据接口遵循系统集成规范。

第一章中心平台设计 1.1 平台功能结构 整合协同平台服务器是公共基础平台的核心部分,XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成,解决数据采集、更新、汇总、分发、一致性等数据交换问题,解决按需查询、公共数据存取控制等问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据,也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下: 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。

数据交换平台设计方案

数据交换平台设计方案 信息交换平台设计方案 目录 1. 项目背景...................................................................... ............................................. 4 1.1. 概述...................................................................... .. (4) 1.2. 现状分析...................................................................... ............................... 4 1.3. 需求描述...................................................................... . (5) 2. 目标与原 则 ..................................................................... (6) 6 2.1. 建设目标...................................................................... ...............................2.2. 建设原则...................................................................... ............................... 7 2.3. 定义与约 束 ..................................................................... . (7)

IBM数据交换平台建设方案

XX省电子政务系统 数据交换平台 国际商业机器中国有限公司 2005.5

目录:

1 概述 数据交换共享平台是协作式电子政务应用平台(包括政府职能部门之间的电子协作、政府与公众/企事业单位的服务管理等)的核心基础服务模块,负责实现跨系统的数据交换、流程控制和分布式数据存储服务。 数据交换平台的目的是实现每个合法用户将其所要传输的数据包安全可靠地传输到指定的地方。数据交换平台支持常见数据库类型、多种业务类型、多种数据传输方式和网络特性,是各类应用系统共享信息资源的公共渠道,是应用系统扩展的接口。 面向服务的体系架构 目前,大多数企业都有各种各样的系统、应用程序以及不同时期和技术的体系结构。集成来自多个厂商跨不同平台的产品和应用系统,一直是企业IT部门的主要挑战。面向服务的体系结构为解决这一问题提供了良好的途径。 SOA是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。 以服务为导向、开放、松散耦合的总体目标架构,在应用系统的规划设计时,我们遵循如下业务集成参考架构。 图IBM基于SOA的业务集成参考架构 SOA 的主要组件包括服务、动态发现和消息。 服务是能够通过网络访问的可调用例程。服务公开了一个接口契约,它定义了服务的行为以及接受和返回的消息。术语服务常与术语提供者互换使用,后者专门用于表示提供服务的实体。 接口通常在公共注册中心或者目录中发布,并在那里按照所提供的不同服务进行分类,

数据交换中心设计方案

电子商务与电子政务 题目数据交换中心设计方案系(院)计算机科学与技术专业计算机技术 班级127专硕 学生姓名陶晓慧 学号1049721201269 导师吴业福

一、研究背景 目前,国内各地政府部门和机构开始建立起自己的信息化系统,包括门户网站内容管理系统、OA办公系统、办事审批系统、其它业务系统等。但由于诸多因素的影响,即使同一地区的政府机构间也无法进行合理、有效的沟通,出现了“信息孤岛”的现象。电子政务实施的任务之一就是要将这些“孤岛”有机地串连在一起,充分发挥其效能,同时也保护了各部门在该方面的经济投入和精力投入。此外,电子政务建设过程中,即使是统一规划,但具体的实施单位和解决方案会有很多,建设完成后的系统常常是自治的,异构的,数据可能存放于数据库、文本文件、XML文件,甚至普通文件中。因此也需要一种机制使不同时期建设的应用系统能有机地结合为一个整体。上述两种情况,均要求解决应用系统间数据和信息的互通、互用问题。 二、数据交换平台设计 2.1 设计原则 数据交换平台应遵循以下设计原则: (1)该平台设计应采用先进成熟、稳定的技术和软硬件平台。 (2)数据交换时不影响相关信息系统的使用和信息安全。 (3)采用国际通用标准,便于和国际接轨,易于系统扩展及升级。 (4)建立一个坚实的系统应用平台,便于系统的管理和维护,技术易于更新,网络及业务规模可以逐步扩展。统一规划,分步实施。 2.2交换中心管理系统 2.2.1数据交换标准 所有的数据交换标准定义均以XML结构记录。可以通过数据交换标准定义管理工具完成如下功能: (1)新建标准、修改或删除标准; (2)维护属性包括数据结构、数据“宿主”位置、缺省过滤条件等; (3)实现对用户身份识别与管理权限控制。 2.2.2数据交换流程 该模块的作用是提供图形化界面,以便数据交换平台的管理人员实现数据流

数据交换平台设计方案

数据交换平台设计方案

信息交换平台设计方案

目录 1.项目背景 (4) 1.1.概述 4 1.2.现状分析 4 1.3.需求描述 5 2.目标与原则 (6) 2.1.建设目标 6 2.2.建设原则 7 2.3.定义与约束 7 3.建设内容与依据 (8) 3.1.建设内容 8 3.2.建设依据 9 4.技术路线 (9) 4.1.技术架构 9

4.2.应用架构 15 5.系统功能 (18) 5.1.功能划分 18 5.2.系统管理 21 5.2.1.运行环境配置 21 5.2.2.系统注册 22 5.2.3.目录服务 23 5.2.3.1.类别维护 (25) 5.2.3.2.元数据维护 (27) 5.2.3.3.目录索引管理 (28) 5.2.4.权限管理 28 5.2.4.1.操作者权限

(29) 5.2.4.2.系统用户权限 (30) 5.2.5.订阅定制 31 5.2.5.1.数据校验 (33) 5.2.5.2.订阅 (34) 5.2.5.3.退订 (35) 5.2. 6.日志定制 36 5.2.7.安全管理 38 5.2.8.其它参数设置 39 5.3.数据交换服务 40 5.3.1.数据交换流程 40 5.3.2.消息管理

41 5.3.3.队列管理 42 5.3.4.发送管理 42 5.3.5.接收管理 43 5.3. 6.封装解析 44 5.3. 6.1.封装 (44) 5.3. 6.2.解析 (45) 5.3.7.数据整编 46 5.3.8.数据保存 47 5.3.9.其它相关服务 48 6.项目实施安排 (48)

数据共享交换平台解决方案

数据共享交换平台解决方案 1、概述 目前,政府职能正从管理型转向管理服务型,如何更好地发挥政府部门宏观管理、综合协调的职能,如何更加有效地向公众提供服务,提高工作效率、打破信息盲区、加强廉政建设已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求“政府行政管理要积极运用数字化、网络化技术,加快信息化进程”。各级政府、行政管理部门都面临着利用信息技术推动政务工作科学化、高效率的新局面。 随着电子政务建设的不断发展,政府拥有越来越多的应用数据,如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程,实现分布在各类政府部门和各级政府机关的信息资源的有效采集、交换、共享和应用,是电子政务建设的更高级的阶段和核心任务。信息资源只有交流、共享才能被充分开发和利用,而只有打破信息封闭,消除信息“荒岛”和“孤岛”,也才能创造价值。目前各级政府都在进行政务资源数据的“整合”,但“整合”什么?如何“整合”?“整合”后做什么?将是摆在政府各级领导面前的首要问题。 2、电子政务总体框架

由上图可以看出,数据共享交换平台交换体系共分为六个层次,分别是安全和标准体系、网络基础设施、信息资源中心、共享交换平台、应用层和展示层。 (1)展示层 通过建立综合信息集成门户系统为用户提供统一的用户界面,信息和应用通过门户层实现统一的访问入口和集中展现。 (2)应用层 应用层提供满足面向各类用户依据实际需求开展业务的需要。如支撑城市应急联动应用、辅助领导决策应用、城市管理应用、社会救助应用等。 (3)共享交换平台层 共享交换平台层为城市数据共享交换平台所在位置,连接各类应用和应用所需的信息资源,组织和整合各类数据、组件和服

协同数据交换平台详细设计方案

目录 1概述 (1) 1.1项目背景 (1) 1.2项目建设范围 (1) 1.3参考文献 (3) 1.4术语 (3) 2设计原则 (4) 2.1安全性原则 (4) 2.2可靠性原则 (5) 2.3适应性原则 (6) 2.4可用性原则 (6) 3架构设计 (7) 3.1总体架构 (7) 3.2技术架构 (7) 3.3部署架构 (8) 3.4功能架构 (9) 4运行环境与技术实现 (17) 4.1运行环境 (17) 4.2技术实现 (18) 5基础主数据详细设计方案 (20) 5.1组织机构 (20) 5.2用户 (26) 5.3物料 (36) 5.4产品 (48) 5.5产品结构 (52) 6系统备份/恢复 (55) 6.1备份策略 (55) 6.2备份频率 (55)

6.3备份保持时长 (55) 6.4数据恢复 (56) 7核心业务数据集成方案 (57) 7.1总体集成方案 (57) 7.2各单位核心业务数据集成方案 (58)

1概述 1.1项目背景 近年来航天四院为充分发挥自身的技术优势,完善从设计到生产的管理体系,加强各单位间的协同工作,目前各单位已不同程度上建立了以OA、ERP、财务管理等系统为主的信息化业务系统,后续各单位陆续展开工艺PDM、MES、档案等业务系统的实施工作。四院各单位内部业务系统及跨单位的业务系统间都存在需要交互的核心业务数据、基础数据资源,基础数据管理没有适用于四院的标准规范和管理手段,给后续业务升级和业务系统间数据集成造成壁垒;核心业务数据交互没有统一管理和规划,属于最基本的点对点集成,不能有效监控核心业务数据交互情况。 在业务系统之间交互的过程中,由于各个系统实现的方式不同、建设的时间不同,导致接口技术不兼容、系统厂商不在场等情况。阻碍了企业信息化的建设进度。通过数据交换平台的建设和实施,可以兼容多种协议规范和多种技术规范,能够将企业当中的各个系统集成工作统一管理,并实现可以在不改变现有基础结构的情况下让几代技术实现互操作。实现了企业的数据共享和业务融合,完成企业核心的基础数据的管理和规范,打通以前数据交互存在的屏障,让这些数据资源更充分的为各个业务系统利用,从而实现现有资源的最大利用,为后期信息化全面建设打下坚实的基础。 1.2项目建设范围 基础平台搭建、基础数据建设及已有系统数据交换和集成,包括:标准与规范体系建设、数据交换支撑平台建设、基础数据管理(轻量级的主数据管理)、集中管控平台建设(包括统一监控管理和统一调度管理)、安全保障体系建设和集成实施几个方面。 (1)标准与规范建设:从服务集成、数据集成、文件传输和数据管理等

(完整word版)数据交换共享中心设计方案

数据交换共享中心设计方案整合协同平台的主要功能是从其它子系统中提取共享数据,并对多来源渠道的、相互不一致的数据进行数据融合处理;基于数据字典对实时数据和历史数据进行组织,以保证数据间关系的正确性、可理解性并避免数据冗余;以各种形式提供数据服务,采用分层次的方法对各类用户设置权限,使不同用户既能获得各自所需要的数据,又能确保数据传输过程的安全性及共享数据的互操作性和互用性;维护基础信息、动态业务数据以及系统管理配置参数;支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分: 第一部分,基础数据和共享数据的交换服务和路由流程管理,该部分是交换平台的基础,包括:静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。 第二部分,各子系统之间的接口实现,根据事先制订好的规范、标准,实现各子系统之间的数据共享和传输操作。在接入中心平台时,应按系统集成要求设计系统结构,各类数据接口遵循系统集成规范。

第一章中心平台设计 1.1 平台功能结构 整合协同平台服务器是公共基础平台的核心部分,XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成,解决数据采集、更新、汇总、分发、一致性等数据交换问题,解决按需查询、公共数据存取控制等问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据,也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下: 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。 功能流程说明: 数据供需方的接口数据系统:为了满足应用层交换和数据层交换,交换代理必须有应用层和数据层的连接和接口适配功能,数据代理必须有数据格式的转换功能。 数据传输:为了保证数据的正确传输和传输性能,必须有传输管理功能,包括了传输协议管理和控制,传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功能。 数据整合协同平台: 会话管理:为了能提供数据的交换方式如主动(推)、被动(拉);支持定时和实时策略,支持超时控制管理等功能,数据交换平台必须有会话策略、会话控制和管理功能。

数据交换共享整合系统平台建设方案

第一章概述 整合协同平台的主要功能是从其它子系统中提取共享数据,并对多来源渠道的、相互不一致的数据进行数据融合处理;基于数据字典对实时数据和历史数据进行组织,以保证数据间关系的正确性、可理解性并避免数据冗余;以各种形式提供数据服务,采用分层次的方法对各类用户设置权限,使不同用户既能获得各自所需要的数据,又能确保数据传输过程的安全性及共享数据的互操作性和互用性;维护基础信息、动态业务数据以及系统管理配置参数;支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分: 第一部分,基础数据和共享数据的交换服务和路由流程管理,该部分是交换平台的基础,包括:静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。 第二部分,各子系统之间的接口实现,根据事先制订好的规范、标准,实现各子系统之间的数据共享和传输操作。在接入中心平台时,应按系统集成要求设计系统结构,各类数据接口遵循系统集成规范。

第二章中心平台设计 2.1 平台功能结构 整合协同平台服务器是公共基础平台的核心部分,XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成,解决数据采集、更新、汇总、分发、一致性等数据交换问题,解决按需查询、公共数据存取控制等问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据,也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下: 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。

数据中心同步平台建设方案

数据中心同步平台建设方案 第一章概述 1.1 平台建设背景 当前政府、企业的信息化的状况是,各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统,独立、异构、涵盖各自业务内容的信息处理系统,系统设计建设的时期不同、业务模式不同,信息化建设缺乏有效的总体规划,重复建设;缺乏统一的设计标准,大多数系统都是由不同的厂商在不同的平台上,使用不同的语言进行开发的,信息交互共享困难,存在大量的信息孤岛和流程孤岛。为了有效整合分散异构的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平。宇思公司要开发的数据共享交换平台,主要目的是有效整合分散异构系统的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平,灵活实现不同系统间的信息交换、信息共享与业务协同,加强信息资源管理,开展数据和应用整合,进一步发挥信息资源和应用系统的效能,提升信息化建设对业务和管理的支撑作用。 要求新构建的数据共享交换平台要遵循标准的、面向服务架构(SOA)的方式,基于先进的企业服务总线ESB技术,遵循先进技术标准和规范,为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务,实现扩展性良好的“松耦合”结构的应用和数据集成;同时

要求数据共享交换平台,能够通过分布式部署和集中式管理架构,可以有效解决各节点之间数据的及时、高效地上传下达,在安全、方便、快捷、顺畅的进行信息交换的同时精准的保证数据的一致性和准确性,实现数据的一次 数据共享交换平台-设计方案 采集、多系统共享;要求数据交换平台节点服务器适配器的可视化配置功能,可以有效解决数据交换平台的“最后一公里”问题,快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享,为各种应用和决策支持提供良好的数据环境。要求数据共享交换平台能够把各种纷繁复杂的数据系统集成在一起完成特定业务,提供同构数据、异构数据之间的数据抽取、格式转换、内容过滤、内容转换、同异步传输、动态部署、可视化管理监控等方面功能,支持的数据包括各主流数据库(如Oracle、SQL Server、MySQL等)、地理空间数据(如卫星影像、矢量数据)、常规文件(word、excel、pdf)等各种格式,并可以根据用户需求定制开发特定业务服务。 1.2 应用场景 场景一:中国科学院电子学研究所的信息交换需求 实现各个数据中心间的数据库层面的数据共享交换,各中心之间是双向的、实时的数据交换,各数据节点的数据库是同构的数据库系统(即Oracle),数据的类型是基于数据库表格的规则数据,字段类型包含BLOB字段类型。目前各数据节点的数据结构(表)是相同的,主要是一表对一表的数据交换,数据抽取和过滤需求比较简单。目前数据共享交换是通过Oracle GoldenGate数据库同步工具来

内外网数据交互解决方案

政府机构内外网数据交换安全解决方案 (内外网物理隔离光盘交换系统) 福州新华时代信息技术有限公司 2017-3 一、研发背景 国家保密局2000年1月1日起颁布实施得《计算机信息系统国际互联网保密管理规定》对国家机要部门使用互联网规定如下:“涉及国家秘密得计算机信息系统,不得直接或间接得与国际互联网或其她公共信息网络链接,必须实行“物理隔离",所谓“物理隔离”就是指企业内部局域网如果在任何时间都不存在与互联网直接得物理连接,则企业得网络安全才能得到真正得保护. 但随着INTERNET得迅速发展,各政府与企事业单位利用互联网开展工作已成为不可逆转得趋势,各个机构都需要在内网与互联网之间进行大量得信息交换,以提升效率.从而在网络安全与效率之间产生了巨大得矛盾,而且矛盾日渐扩大化。

网络隔离得目得就是为了保护内部网络得安全,而网络互连得目得就是方便高效得进行数据交换.在此背景下,我们采用十五年技术积累得核心技术开发成功了完全自动化得双网隔离数据光盘交换系统,面向高安全数据传输场合,实现网络完全隔离情况下得数据自动交换, 二、系统简介 (一)现行数据交换得模式及问题 “内网”与互联网实现严格得物理隔离后,内外网数据交换成为突出问题,影响了应用系统得有效部署, 1 、完全物理隔离。采用人工刻盘,将外部(或内部)网络得数据刻录到光盘,再由人工经过安全处理后将数据加载到内部(或外部)网络上.这种方式虽实现了外部与内部网络得物理隔离,但存在资源消耗大、效率低下与不易管理得弊端. 2 、采用逻辑隔离得方式.即互联网与内部网络之间采用单向导入设备连接,如网闸或光闸,虽然效率高,但不属于完全得物理隔离,不符合现行国家有关内外网数据安全交换得要求。 鉴于上述两种数据交换方式存在得弊端,因此提出以“物理隔离"为准则,建立以智能、可控、安全为基础得“内外网数据安全摆渡系统”具有十分重要得意义。 (二)系统开发思路与架构 1、满足安全管理需求 “美佳达双网物理隔离光盘信息交换系统”基于机电一体化技术,利用机械手模拟人手工操作光盘进行数据自动迁移,实现外部网络与内部网络间得物理隔离,为网间交换数据提供一种自动化得、安全可靠得解决方案。该方案不仅避免以往人工操作带来得不可控因素,同时弥补了当前网闸、光闸现存得技术缺陷。

政务大数据交换共享平台建设方案

目录 第一章需求分析和项目建设的必要性 (4) 1.1 项目建设目标、内容 (4) 1.1.1 项目建设目标 (4) 1.1.2 项目建设内容 (4) 1.2 编制依据 (5) 1.3 与政务职能相关的社会问题和政务目标分析 (6) 1.3.1 社会问题分析 (6) 1.3.2 政务目标分析 (8) 1.4 业务功能、业务流程和业务量分析 (11) 1.4.1 用户角色分析 (11) 1.4.2 业务功能分析 (12) 1.4.3 业务流程 (14) 1.4.4 业务量分析 (14) 1.5 信息量分析和预测 (15) 1.5.1 存储量分析 (15) 1.5.2 处理量分析 (19) 1.5.3 网络流量分析 (20) 1.6 系统功能和性能需求分析 (20) 1.6.1 系统功能指标 (20) 1.6.2 系统性能指标 (22) 1.7 信息系统装备和应用现状与差距 (22) 1.7.1 现状 (22) 1.7.2 差距 (23) 1.8 项目建设的必要性 (23) 第二章总体建设方案 (26) 2.1 建设原则 (26) 2.1.1 统一性原则 (26) 2.1.2 可靠性原则 (26) 2.1.3可伸缩和可扩展性原则 (26) 2.1.4 开放性原则 (27) 2.1.5 安全性原则 (27) 2.1.6 高效性原则 (27) 2.1.7 友好性原则 (27) 2.1.8 可管理易维护性 (28)

2.2 总体目标与分期目标 (28) 2.3 总体建设任务与分期建设内容 (29) 2.4 总体设计方案 (30) 2.4.1 基础设施层 (32) 2.4.2 信息资源层 (33) 2.4.3 应用支撑层 (34) 2.4.4 应用层 (34) 2.4.5 服务层 (34) 2.4.6 安全保障体系 (34) 2.4.7 标准规范体系 (35) 第三章项目建设方案 (36) 3.1 标准规范建设 (36) 3.1.1 管理制度建设 (36) 3.1.2 标准规范建设 (40) 3.1.3 数据标准建设 (43) 3.1.4 标准规范索引 (46) 3.2 信息资源规划和数据库设计 (47) 3.2.1 信息资源规划 (47) 3.2.2 数据中心建设 (53) 3.3 门户系统建设 (69) 3.3.1 信息资源政务门户 (69) 3.3.2 信息资源开放门户 (73) 3.4 应用系统建设 (74) 3.4.1 数据汇聚平台 (74) 3.4.2 数据治理平台 (89) 3.4.3 数据运营平台 (102) 3.4.4 数据应用平台 (104) 3.5 四大基础数据库管理平台 (108) 3.5.1 人口库 (108) 3.5.2 法人库 (111) 3.5.3 经济库 (114) 3.5.4 地理库 (115) 3.6 应用支撑系统设计 (116) 3.6.1 统一用户管理 (116) 3.6.2 统一应用管理 (120) 3.6.3 统一服务管理 (121) 3.6.4 统一消息服务 (123) 3.6.5 统一日志服务 (124)

相关主题