搜档网
当前位置:搜档网 › Oracle GoldenGate数据库同步技术

Oracle GoldenGate数据库同步技术

Oracle GoldenGate数据库同步技术
Oracle GoldenGate数据库同步技术

Oracle

Oracle GoldenGate 数据库同步技术

Oracle GoldenGate TDM是一种基于软件

的数据复制方式,它从数据库的日志解析数

据的变化。

Oracle Data Integrator

Oracle GoldenGate的技术原理

利用GoldenGate同步SQL Sever

2000数据

TechTarget 中国《Oracle系列电子书》 1

TechTarget

中国《

Oracle 系列电子书》

2

Oracle GoldenGate 是一款实时访问、基于日志变化捕捉数据,并且在异构平台之间

进行数据传输的产品。利用这个技术,GoldenGate 能够实现低延迟、高性能、低影响进行连续的数据集成。——赵宇

始切入正题之前,我们先来看一项数据库市场的调查:权威调查机构的报告显示,数据库市场在近几年分布占据主导地

位的还是Oracle、DB2、SQL Server。现在随着企业信息化水平的不断提高,很多企业也都上很多信息化的系统,比如OA系统、订单系统、网站、ERP、数据仓库、计费等系统,在证券、银行、电信、保险、网站等行业更是多个数据库系统并存的情况。数据库多种多样、版本又不统一,这样就给企业在做数据分析以及汇总带来很大的难度。通常客户会选择自己写脚本、开发程序来做数据的同步,往往效率不高,程序还需要经常维护。SQL Server在中小企业、证券市场占比较大的比重,我们这里就举例SQL Server之间的数据库同步。

TechTarget 中国《Oracle系列电子书》 3

TechTarget 中国《Oracle 系列电子书》

4

如果不通过开发程序代码来完成SQL Server 2000/2005的数据同步到SQL Server 2000/2005数据库中,有哪些方案可以选择呢? SQL Server 本身就提供了很多解决方案,比如大家很熟悉的

Microsoft Snapshot Replication , Microsoft Transactional Replication, Microsoft Merge Replication 。但是这些方案在实时数据捕捉、数据同步灵活性以及双向复制方面都不够完善,我们在后期电子书中也会介绍。Oracle 公司在过去3年收购了2款强大的产品,Oracle Data Integrator 和Oracle Goldengate 。

Oracle Data Integrator数据集成器是一个全面的数据集成平台,它能满足所有数据集成要求,涉及领域包括高容量、高性能批处理、事件驱动的少量传送集成过程以及支持SOA 的数据服务。ODI集成了很多数据库的功能模块以及java开发完整的模块,可以利用JDBC协助我们完成MSSQL到Oracle的同步,但是ODI强大的功能在于可以对数据进行提取、过滤、转换、加载,比传统的ETL工具更完善,而且可以实现工作流、流程控制等。在这期杂志,我们主要是利用Oracle Goldengate这个产品来做异构数据库、异构平台间的数据同步。

Oracle Goldengate是一款实时访问、基于日志变化捕捉数据,并且在异构平台之间进行数据传输的产品。利用这个技术,Goldengate 能够实现低延迟、高性能、低影响进行连续的数据集成。

TechTarget 中国《Oracle系列电子书》 5

TechTarget 中国《Oracle 系列电子书》

6

GoldenGate TDM (交易数据管理)软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步、双活。GoldenGate TDM 软件可以在异构的IT 基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,其复制过程简图如下:

如上图所示,GoldenGate TDM 的数据复制过程如下:

利用捕捉进程(Extract Process)在源系统端读取Online Redo

Log 或Archive Log ,然后进行解析,只提取其中数据的变化如增、删、改操作,并将相关信息转换为GoldenGate TDM 自定义的中间格式存放在队列文件(trail file)中。再利用传送进程将队列文件通过TCP/IP 传送到目标系统。捕捉进程在每次读完log 中的数据变化并在数据传送到目标系统后,会写检查点,记录当前完成捕捉的log 位置,检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制;

目标系统接受数据变化并缓存到GoldenGate TDM 队列当中,队列为系列临时存储数据变化的文件,等待投递进程读取数据;

GoldenGate TDM投递进程(replicat process)从队列中读取数据变化并创建对应的SQL语句,通过数据库的本地接口执行,提交到数据库成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。

由此可见,GoldenGate TDM是一种基于软件的数据复制方式,它从数据库的日志解析数据的变化(数据量只有日志的四分之一左右)。GoldenGate TDM 将数据变化转化为自己的格式,直接通过TCP/IP网络传输,无需依赖于数据库自身的传递方式,而且可以通过高达10:1的压缩率对数据进行压缩,可以大大降低带宽需求。在目标端,GoldenGate TDM可以通过交易重组,分批加载等技术手段大大加快数据投递的速度和效率,降低目标系统的资源占用,可以在亚秒级实现大量数据的复制,并且目标端数据库是活动的。

下面详细介绍利用Goldengate同步SQL Sever 2000 到SQL Server 2000表数据的具体实现。

利用GoldenGate同步SQL Sever 2000数据测试环境: Windows XP

Goldengate V10.4

TechTarget 中国《Oracle系列电子书》7

源数据库:MSSQL 2000 db01

目标数据库: MSSQL 2000 db02

测试用户:Db01库:ggstrn01

Db02库:ggstrn02

C:\Documents and Settings\goldengate>cd c:\gg-sql

Oracle GoldenGate Command Interpreter for ODBC

Version 10.4.0.19 Build 002

Windows (optimized), Microsoft SQL Server on Sep 21 2009 09:10:43

Copyright (C) 1995, 2009, Oracle and/or its affiliates. All rights reserved.

GGSCI (GGSEDU50) 1> edit params ./GLOBALS

checkpointtable ggusr.checkpoint

MGRSERVNAME GGMGRSQLSERVER

GGSCI (GGSEDU50) 3> EXIT

C:\gg-sql>install ADDSERVICE AUTOSTART

Service 'GGMGRSQLSERVER' created.

Install program terminated normally.

GLOBALS是Goldengate的全局参数文件,编辑好以后呢,需要退出GGSCI才能生效。然后验证是否Windows生产了相应的服务。

TechTarget 中国《Oracle系列电子书》8

C:\gg-sql>sc query GGMGRSQLSERVER

SERVICE_NAME: GGMGRSQLSERVER

TYPE : 10 WIN32_OWN_PROCESS

STATE : 1 STOPPED

(NOT_STOPPABLE,NOT_PAUSABLE,IGNORES_SHUTDOWN)

WIN32_EXIT_CODE : 1077 (0x435)

SERVICE_EXIT_CODE : 0 (0x0)

CHECKPOINT : 0x0

WAIT_HINT : 0x0

在利用Goldengate做数据同步之前,需要配置数据库的相关配置,具体如下:

指定数据源行的键

指定行的唯一标识

Goldengate推荐能够在源库的行级别有唯一的标识,比如主键、唯一键,这样在目标数据库做删除、修改时能及时定位相关的行数据。如果没有主键、唯一键,Goldengate会把所有的数据都作为Where条件进行数据操作的判断条件。

Goldengate会决定用哪种行唯一标识

GoldenGate 选择行唯一标识的优先级如下:

TechTarget 中国《Oracle系列电子书》9

1. Primary key 主键;

2. 第一个不包含timestamp 的唯一键;

3. 也可以用 KEYCOLS 在Extract TABLE 参数或者Replicat MAP 参数中指定可以判断唯一行的列。这个指定的列会覆盖Goldengate自己寻找到的唯一标识。

注意如果没有主键、唯一键也没有用KEYCOLS指定,GoldenGate 会在进程报告中提示消息,表明会用所有列的信息做唯一标识。

失效触发器和级联删除的约束

在目标数据库,也就是本次测试的oracle数据库中停掉触发器和级联删除的约束,或者让Goldengate忽略他们产生的变化。

下面要配置ODBC连接MSSQL数据库,由于可以通过ODBC连接,ODBC也可以配置远程的MSSQL数据库。

配置ODBC连接

创建一个 SQL Server DSN

控制面板>管理工具 >数据源(ODBC)

TechTarget 中国《Oracle系列电子书》10

TechTarget

中国《Oracle 系列电子书》

11

TechTarget 中国《Oracle 系列电子书》

12

选择MSSQL 的数据服务器,指定源数据库的名称db01

在MSSQL 里创建一个专门为Goldengate 使用的用户,输入用户名和密码

TechTarget 中国《Oracle 系列电子书》

13

在这里,我们是把为goldengate 分配的用户存放了数据,实际生产环境中,为goldengate 创建一个用户用于提取日志的操作,赋予相应管理权限。而数据通常存放在其他的用户下面。

然后选择默认的要提取数据的数据库

默认设置

TechTarget 中国《Oracle

系列电子书》

14

测试数据库的连接

●配置SQL Server 2000 的日志模式

为了让GoldenGate 从SQL Server源系统提取日志的信息,需要做下面的设置:

●设置数据库的日志模式为full recovery model. GoldenGate 要求关闭log

truncation 和 non-logged bulk copy.

●在启动Goldengate之前至少要做一次全数据库备份。

验证或者设置恢复模式

1、用SQL Server 2000的企业管理器或者for SQL Server 2005/2000

TechTarget 中国《Oracle系列电子书》15

的SQL Server Management Studio 进入SQL SERVER的实例;

2、展开数据库的文件夹;

3、右键单击源数据库, 然后选择属性;

4、选择option tab页面。

完全备份数据库

1、右键点击数据库的名字, 选择All Tasks > Backup Database.

2、Select Database –Complete. 这个选项做全数据库备份,并且确保

TechTarget 中国《Oracle系列电子书》16

TechTarget 中国《Oracle 系列电子书》

17

GoldenGate 启动时不会有任何的事务丢失。

然后选择数据库备份的位置。

TechTarget 中国《Oracle 系列电子书》

18

备份成功提示。

在前面的工作完成以后,数据库的准备工作就已经基本完成了,下面我们就开始直接配置Goldengate 针对源数据库SQL Server 的配置。

启用扩展日志(附加日志)

启用扩展日志或附加日志是可以在数据库里完成,也可以在Goldengate里完成,我们主要是介绍怎样配置Goldengate,Goldengate安装就不在这里介绍,具体安装配置,参考:

https://www.sodocs.net/doc/711587813.html,/docs/cd/E15881_01/doc.104/gg_mss_inst_v 104.pdf

我们在后期电子书中也会详细介绍。

我们可以在Goldengate里面利用ADD TRANDATA 命令启用扩展日志,让提取进程Extract 捕获用以在目标库重构SQL所需要的日志信息. 扩展日志信息比SQL Server默认日志包含了更多数据的信息。这个命令要求对所有需要复制的表执行。

ADD TRANDATA 实现下面功能:

如果源数据库是SQL Server 2000, ADD TRANDATA 设置一个标识在sysobjects表,强制SQL Server日志记录前镜像和后镜像信息,也就是变化前的数据和变化后的数据。在Goldengate 启用扩展日志的命令:

C:\gg-sql>ggsci

Oracle GoldenGate Command Interpreter for ODBC

Version 10.4.0.19 Build 002

TechTarget 中国《Oracle系列电子书》19

Version 10.4.0.19 Build 002

Windows (optimized), Microsoft SQL Server on Sep 21 2009 09:10:43

Copyright (C) 1995, 2009, Oracle and/or its affiliates. All rights reserved.

GGSCI (GGSEDU50) 2> dblogin sourcedb db01, userid ggstrn01, password

ggstrn01

Successfully logged into database.

? SOURCEDB is the name of the data source.

? USERID , PASSWORD is the Extract login and password, if

Extract uses

SQL Server authentication. Can be the Extract user or a member of an account in

the System Administrators or Server Administrators fixed server role.

GGSCI (GGSEDU50) 5> add trandata ggstrn01.*

Logging of supplemental log data is enabled for table ggstrn01.emp

注释:

指定在线和备份日志的位置,指定一个可选的在线日志位置。改变提取进程Extract 到指定的位置抓取在线日志用下面参数TRANLOGOPTIONS 结合参数ALTONLINELOGS,可以指定多个日志位置。

指定备份日志的可选位置

TechTarget 中国《Oracle系列电子书》20

光传输设备技术要求

1.总则 1.1本技术要求适用于新疆华电红雁池发电有限责任公司光传输设备改造的技术要求。 1.2本技术要求提出的是最低限度的技术要求,并未对一切技术细节作出规定,也未充分引述有关标准和规范条文,供方保证提供符合招标书和工业标准的优质产品。 1.3如供方没有以书面形式对本技术要求的条文明确提出异议,需方则认为供方提供的产品完全满足技术要求。 1.4在签定合同之后,供方应积极主动地实施合同内容。 1.5本技术要求为供方提供产品依据,在执行本技术要求所列要求、标准,本规范书中未提及的内容均应满足或优于本要求所列的国家标准、行业标准和有关国际标准。有矛盾时,按较高标准执行。 1.6供方提供的产品,是成熟的、技术先进的、具有制造经验的复制品,而不是试制品,并提供安全、经济、可靠的设备和可行的布置。 2. 遵循的主要现行标准 本技术要求中涉及的所有规范、标准或材料规格(包括一切有效的补充或附录)均应为最新版本,若发现本技术要求与参照的文献之间有不一致之处,卖方应向买方指明,并按较高标准执行。 2.1引用的规范和标准 国际及国标 (1)中华人民共和国标准《同步数字体系(SDH)光缆线路系统进网要求》;(2)信息产业部《光同步传送网技术体制》; (3)ANSI T1.101 同步接口规范; (4)ITU-T G.812 局间时钟的定时要求(9/97版); (5)ITU-T G.811 国际局间原始参考钟(PRC)的定时要求; 3、设备运行的环境条件 电源:额定电压:直流-48V; 电压范围:直流–39V~–57V 工作温度:0℃~50℃

湿度:10%~90%,不结露 4、技术要求 4.1一般要求 4.1.1买方光传输设备属于新疆电网干线上的一个环网节点,改造后的设备必须与之匹配运行。 4.1.2买方原设备2M业务有48端口,备用端口有19个,改造后2M业务端口必须大于48端口,并有足够的扩展槽位。 4.1.3卖方应保证改造后设备至少有2块光板,速率不小于622Mb/s,并能平滑升级,满足将来电网通信需求。 4.1.4卖方应保证改造后设备支持多业务(MSTP),应有以太网端口,满足现在和将来电网通信需求。 4.2光纤通道应能可靠的传输以下信息 4.2.1电话 4.2.2 调度自动化信息 4.2.3 通信监控 4.2.4 线路继电保护和安全自动装置信息 4.2.5 数据信息 4.2.6 综合业务数字网信息 4.2.7 MIS网络信息 4.3 光纤通信系统参考数字通道 数字传输模型 (a)假设参考数字通道(HRDP)长度为6900km。 (b)假设参考数字段(HRDS)长度为280km。 4.4 传输与复用设备类型及性能要求 4.4.1 数字光纤通信传输系统采用SDH、STM-16等级,本期工程传输速率为622Mb/s, 将来设备只需更换光卡板,便能平滑升级到STM-16,2.5Gb/s或者STM-64,10Gb/s。本工程中,需要在红雁池电厂新增1套SDH光传输设备。 4.4.2 SDH622/2.5Gb/10G/s设备应具有功能强大的交叉矩阵,可在VC-12级别

oracle数据库实时同步技术解决方案研究

oracle数据库实时同步技术解决方案研究 近幾年,容灾及高可用已经成为信息数据中心建设的热门课题。本文在对oracle数据库同步技术的初步研究的基础上,根据大庆油田数据中心的实际情况,提出以goldengate和dataguard这两种技术为主的同步解决方案。通过对两种技术的对比研究,根据不同的应用需求选择适合的技术,强调了数据实时同步作为数据库容灾的重要手段,通过实时的数据同步提供高可用的业务分离的应用环境,大大降低主库的压力,保证数据的安全性和高可用性。 标签:数据库同步;goldengate;dataguard;容灾;高可用 一、数据库同步技术 数据库同步是在两个以上的数据库之间进行数据交换,以使得任何一个数据库的改变,会以同样的方式出现在另一个数据库里。数据库同步可以是单向的,也可以是双向的。单向同步也叫主从同步。只有主数据库的改变可以被复制到从数据库里去,从数据库是被动的。双向同步顾名思义就是任何一端的数据变化都要同步到另一端,因为这种同步对应用的要求很高,成功的案例并不多,现实中,应用最为广泛的是单向同步。使用数据库同步技术,用户可以将一份数据发布到多台服务器上,也可以从多台服务器到一台服务器上,从而使不同的服务器用户都可以在权限的许可的范围内共享这份数据。同步技术可以确保分布在不同地点的数据自动同步更新,从而保证数据的一致性。 二、Oracle提供的数据同步方案 从实现机制来分的话,Oracle的数据同步主要分为两大类: (一)运用Oracle数据库内部的机制来实现 1、触发器/Job+DBLINK的方式,可同步和定时刷新。 这种方式主要用于单个数据表,数据量较小的情况。这种方式对网络要求较高,如果两个数据库之间的网络中断,那么主库那边就会报错,而且如果表数多或数据量大的话对数据库性能影响很大,所以这种方式现在很少被采用了。 2、物化视图刷新的方式,有增量刷新和完全刷新两种模式,定时刷新。 物化视图的方式的缺点与触发器方式的缺点基本一致,所以要慎重使用。 3、高级复制,分为多主复制和物化视图复制两种模式。其中多主复制能进行双向同步复制和异步复制,物化视图用于单向复制,定时刷新,高级复制也是基于触发器(trigger)原理,因此高级复制只能到表一级,而且只能是单向复制,否则会冲突,高级复制同样对数据库性能影响很大。

数据库与数据库进行对接SQL同步不同数据库的表

//192.168.2.9中dbo.test_hr表中的數據拋入192.168.3.127中dbo.test insert into OA_TO_HR.FlowMaster.dbo.test(id,a,b,c,d) (select * from dbo.test_hr) //在192.168.2.9中刪除192.168.3.127中dbo.test表中的數據 delete from OA_TO_HR.FlowMaster.dbo.test //在192.168.2.9中查詢192.168.3.127中dbo.test表中的數據 select * from OA_TO_HR.FlowMaster.dbo.test //192.168.3.127中dbo.test表中的數據拋入192.168.2.9中dbo.test_hr insert into OA_HR.ESHR.dbo.test_hr(id,a,b,c,d) (select * from dbo.test) //在192.168.3.127中刪除192.168.2.9中dbo.test表中的數據 delete from OA_HR.ESHR.dbo.test_hr //在192.168.3.127中查詢192.168.2.9中dbo.test表中的數據 select * from OA_HR.ESHR.dbo.test_hr 1、建立數據庫鏈接 MSDTC 服務需開啟 組件服務中的安全配置頁中的網絡訪問勾選 2、新建作業 現方式為將2.9服務器中表i_test數據寫入到2.34 ivan_t表中 insert into srv_link.rldata.dbo.ivan_t(uid,uname) (select*from dbo.i_test) select*from srv_link.rldata.dbo.ivan_t delete from srv_link.rldata.dbo.ivan_t

数据镜像复制技术

数据镜像复制技术 大型的业务系统中,数据库中的各类数据,如市场数据,客户数据,交易历史数据,财务管理数据、社会综合数据、生产研发数据等,都是公司至关重要的资产,它不仅关系着整个业务系统的稳定和正常运行,还可能关系着巨大的经济利益。数据系统中,存储设备的安全和高可用性与数据库软件系统一样,都至关重要的一旦数据丢失,就有可能面临着百万、千万元的经济损失。 正因为如此,一个大型数据库系统要具有高安全、高可用性,就必须具有以下几个方面的特点: 高可用性HA(High Availability) l有遭受失败的能力 l有单独的服务和资源管理的能力 l通过一种类型的Cluster进行操作 l关键概念是失败转移(takeover) l与容错不同(容错失败是不可见的) 持续可用性CA( Continuous Availability) l一对或Cluster系统,支持100%联机运行 l高度分布式系统 l设计有多层冗余 l设计有客户端自动失败转移 l为非单点失败而设计 l为非计划停机事件而设计 在数据库系统设计中,常用到的系统结构图如: (图2) 如图所示中,数据库软件、主机、HBA卡和网络交换机一般都采用双机方式,通过多台设备间的Active-Active工作方式来保障系统中的高可用性。不过从上图我们也可以看到,整个系统中,只有存储是单台设备。虽然存储设备内部可通过双控制器、双电源和RAID组来实现内部的冗余,但从存储设备整体而言,仍然存在许多单点故障,比如控制器的背板,

磁盘扩展柜等;这与主机和网络层的高可用工作方式是不匹配的。一旦存储设备发生整体故障,将会直接引起整个系统瘫痪,甚至造成数据丢失,给使用者带来具大的损失。 1.1 卷镜像复制和RAID镜像卷 为了提供存储设备的高可用性,保障数据的安全性,常用的一种解决方案是再增加一台备用存储设备,由两台存储设备负责数据库系统的数据存储服务,保障数据库的安全和数据存储服务器稳定。根据两个存储设备之间工作方式的不同,数据同步和复制机制的不同,可分为两种方式,第一种是卷镜像复制方式,第二种是RAID镜像卷方式。 卷镜像复制工作方式的系统结构图如下: (图3) 左侧存储为主存储设备设备,右侧为备用存储设备,再通过卷镜像复制软件、数据备份软件、网络层的存储虚拟化设备、存储设备自带的卷镜像复制功能等多种方式来实现主、备两个存储之间的卷镜像复制,以此来保障数据的安全性,同时备份存储设备也可以作为数据库系统中的数据存储服务功能的一种后备方式,一旦主存储设备发生故障,就需要自动或手动的切换到备份存储设备上,这种切换实际上是主存储设备生产卷到备份存储设备的镜像卷的切换,经常会导致数据库不一致,数据库重起,切换时间过长等问题。。 RAID镜像卷工作方式的系统结构图下:

Oracle数据库同步技术

基于Oracle数据库的数据同步技术大体上可分为两类:Oracle自己提供的数据同步技术和第三方厂商提供的数据同步技术。Oracle自己的同步技术有DataGuard,Streams,Advanced Replication和今年 刚收购的一款叫做GoldenGate的数据同步软件。第三方厂商的数据同步技术有Quest公司的SharePlex 和DSG的RealSync。下面对这些技术逐一进行介绍。 一、DataGuard数据同步技术 DataGuard是Oracle数据库自带的数据同步功能,基本原理是将日志文件从原数据库传输到目标数据库,然后在目标数据库上应用(Apply)这些日志文件,从而使目标数据库与源数据库保持同步。DataGuard 提供了三种日志传输(Redo Transport)方式,分别是ARCH传输、LGWR同步传输和LGWR异步传输。在上述三种日志传输方式的基础上,提供了三种数据保护模式,即最大性能(Maximum Performance Mode)、最大保护(Maximum Protection Mode)和最大可用(Maximum Availability Mode),其中最大保护模式 和最大可用模式要求日志传输必须用LGWR同步传输方式,最大性能模式下可用任何一种日志传输方式。 最大性能模式:这种模式是默认的数据保护模式,在不影响源数据库性能的条件下提供尽可能高的 数据保护等级。在该种模式下,一旦日志数据写到源数据库的联机日志文件,事务即可提交,不必等待日 志写到目标数据库,如果网络带宽充足,该种模式可提供类似于最大可用模式的数据保护等级。 最大保护模式:在这种模式下,日志数据必须同时写到源数据库的联机日志文件和至少一个目标库 的备用日志文件(standby redo log),事务才能提交。这种模式可确保数据零丢失,但代价是源数据库的可用性,一旦日志数据不能写到至少一个目标库的备用日志文件(standby redo log),源数据库将会被关闭。这也是目前市场上唯一的一种可确保数据零丢失的数据同步解决方案。 最大可用模式:这种模式在不牺牲源数据库可用性的条件下提供了尽可能高的数据保护等级。与最 大保护模式一样,日志数据需同时写到源数据库的联机日志文件和至少一个目标库的备用日志文件(standby redo log),事务才能提交,与最大保护模式不同的是,如果日志数据不能写到至少一个目标库的备用日志文件(standby redo log),源数据库不会被关闭,而是运行在最大性能模式下,待故障解决并将延迟的日志成功应用在目标库上以后,源数据库将会自动回到最大可用模式下。 根据在目标库上日志应用(Log Apply)方式的不同,DataGuard可分为Physical Standby(Redo Apply)和Logical Standby(SQL Apply)两种。 Physical Standby数据库,在这种方式下,目标库通过介质恢复的方式保持与源数据库同步,这种方 式支持任何类型的数据对象和数据类型,一些对数据库物理结构的操作如数据文件的添加,删除等也可支持。如果需要,Physical Standby数据库可以只读方式打开,用于报表查询、数据校验等操作,待这些操 作完成后再将数据库置于日志应用模式下。 Logical Standby数据库,在这种方式下,目标库处于打开状态,通过LogMiner挖掘从源数据库传 输过来的日志,构造成SQL语句,然后在目标库上执行这些SQL,使之与源数据库保持同步。由于数据 库处于打开状态,因此可以在SQL Apply更新数据库的同时将原来在源数据库上执行的一些查询、报表等操作放到目标库上来执行,以减轻源数据库的压力,提高其性能。 DataGuard数据同步技术有以下优势: 1)Oracle数据库自身内置的功能,与每个Oracle新版本的新特性(如ASM)都完全兼容,且不 需要另外付费; 2)配置管理较简单,不需要熟悉其他第三方的软件产品; 3)Physical Standby数据库支持任何类型的数据对象和数据类型;

数据库实时同步技术解决方案

数据库实时同步技术解决方案 一、前言 随着企业的不断发展,企业信息化的不断深入,企业内部存在着各种各样的异构软、硬件平台,形成了分布式异构数据源。当企业各应用系统间需要进行数据交流时,其效率及准确性、及时性必然受到影响。为了便于信息资源的统一管理及综合利用,保障各业务部门的业务需求及协调工作,常常涉及到相关数据库数据实时同步处理。基于数据库的各类应用系统层出不穷,可能涉及到包括ACCESS、SQLSERVER、ORACLE、DB2、MYSQL等数据库。目前国内外几家大型的数据库厂商提出的异构数据库复制方案主要有:Oracle的透明网关技术,IBM的CCD表(一致变化数据表)方案,微软公司的出版者/订阅等方案。但由于上述系统致力于解决异构数据库间复杂的交互操作,过于大而全而且费用较高,并不符合一些中小企业的实际需求。 本文结合企业的实际应用实践经验,根据不同的应用类型,给出了相应的数据库实时同步应用的具体解决方案,主要包括: (1) SQLSERVER 到SQLSERVER 同步方案 (2) ORACLE 到SQLSERVER 同步方案 (3) ACCESS 到SQLSERVER/ORACLE 同步方案

二、异构数据库 异构数据库系统是相关的多个数据库系统的集合,可以实现数据的共享和透明访问,每个数据库系统在加入异构数据库系统之前本身就已经存在,拥有自己的DMBS。异构数据库的各个组成部分具有自身的自治性,实现数据共享的同时,每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。异构数据库的异构性主要体现在以下几个方面: 1、计算机体系结构的异构 各数据库可以分别运行在大型机、小型机、工作站、PC嵌入式系统中。 2、基础操作系统的异构 各个数据库系统的基础操作系统可以是Unix、Windows NT、Linux等。 3、DMBS本身的异构 可以是同为关系型数据库系统的Oracle、SQL Server等,也可以是不同数据模型的数据库,如关系、模式、层次、网络、面向对象,函数型数据库共同组成一个异构数据库系统。 三、数据库同步技术

通过触发器实现数据库的即时同步

通过触发器实现数据库的即时同步 --即时同步两个表的实例: --测试环境:SQL2000,远程主机名:xz,用户名:sa,密码:无,数据库名:test --创建测试表,不能用标识列做主键,因为不能进行正常更新 --在本机上创建测试表,远程主机上也要做同样的建表操作,只是不写触发器 if exists (select * from dbo.sysobjects where id = object_id(N'[test]') and OBJECTPROPERTY(id, N'IsUserTable') = 1) drop table [test] create table test(id int not null constraint PK_test primary key ,name varchar(10)) go --创建同步的触发器 create trigger t_test on test for insert,update,delete as set XACT_ABORT on --启动远程服务器的MSDTC服务 exec master..xp_cmdshell 'isql /S"xz" /U"sa" /P"" /q"exec master..xp_cmdshell ''net start msdtc'',no_output"',no_output --启动本机的MSDTC服务 exec master..xp_cmdshell 'net start msdtc',no_output --进行分布事务处理,如果表用标识列做主键,用下面的方法 BEGIN DISTRIBUTED TRANSACTION delete from openrowset('sqloledb','xz';'sa';'',test.dbo.test) where id in(select id from deleted) insert into openrowset('sqloledb','xz';'sa';'',test.dbo.test) select * from inserted commit tran go --插入数据测试 insert into test select 1,'aa' union all select 2,'bb' union all select 3,'c' union all select 4,'dd' union all select 5,'ab' union all select 6,'bc' union all select 7,'ddd' --删除数据测试 delete from test where id in(1,4,6)

光同步传送网及波分复用系统

北京科技大学 《光同步传送网及波分复用系统》 实验报告 学院: 班级: 学号: 姓名: 成绩: 2016年12月10日

波分复用系统综合实验 一、实验目的 1)熟悉波分复用系统的实验器材及操作方法 2)了解光纤接入网中波分复用原理 3)解决分析光纤传输系统的损耗来源和计算分析方法 二、实验原理 波分复用WDM(Wavelength Division Multiplexing)是将两种或多种不同波长的光载波信号(携带各种信息)在发送端经复用器(亦称合波器,Multiplexer)汇合在一起,并耦合到光线路的同一根光纤中进行传输的技术;在接收端,经解复用器(亦称分波器或称去复用器,Demultiplexer)将各种波长的光载波分离,然后由光接收机作进一步处理以恢复原信号。这种在同一根光纤中同时传输两个或众多不同波长光信号的技术,称为波分复用。 实验原理图: 三、实验装置图

四、调整功率 输入光功率分别是:12dBm(36信道) 10dBm(39信道)五、拍照光谱图 此处有拍照图 结果显示:5.38dBm(36信道) 4.02dBm(39信道)六、功率值

结果显示:5.18dBm(36) 3.81dBm(39)七、计算波分器件损耗值 公式:L=-10log(P in /P out ) (dB) 八、分析结论 通过本实验使我对光纤中的传输有了更深的理解,对波分复用器件有了进一步的认识,对波分复用技术有了更具体的体会。 同一信道同一输入功率:损耗不同可能原因是 1)经过的线路不同损耗不同 2)不通仪器的测量精度不同 3)不同仪器接口处存在的损耗不同 1.可以充分利用光纤的巨大带宽资源,使传输容量比单波长传输增加几倍至几十倍; 2. 在大容量长途传输时,WDM与EDFA结合可以节约大量光纤和电再生器,大大降低传输成本; 3. 由于同一光纤中传输的信号波长彼此独立,与信号速率及电调制方式无关,可以完成各种电信业务的综合与分离,是引入宽带新业务(例如CATV)的方便手段;

数据库同步

一个是远程SQLServer数据库,一个是本地SQLServer数据库 回答 验证码:换一张 登录并发表取消 回答 dhy40022008-11-18 10:15:22 下介绍实现复制的步骤。(以快照复制为例) 准备工作: 1.在发布服务器上,新建一个共享目录,做为发布的快照文件的存放目录,操作: 我的电脑--D:\ 新建一个目录,名为: PUB --右键这个新建的目录 --属性--共享 --选择"共享该文件夹"(另外还可以通过"权限"按纽来设置具体的用户权限 --确定 2.设置SQL代理(SQLSERVERAGENT)服务的启动用户 开始--程序--管理工具--服务 --右键SQLSERVERAGENT --属性--登陆--选择"此账户" --输入".\Administrator",或者选择其他系统管理员 --"密码"中输入该用户的密码 3.设置SQL Server身份验证模式,解决连接时的权限问题 企业管理器 --右键SQL实例--属性

--安全性--身份验证 --选择"SQL Server 和Windows" --确定 4.在发布服务器和订阅服务器上互相注册 企业管理器 --右键SQL Server组 --新建SQL Server注册... --下一步--可用的服务器中,输入你要注册的远程服务器名--添加 --下一步--连接使用,选择第二个"SQL Server身份验证" --下一步--输入用户名和密码 --下一步--选择SQL Server组,也可以创建一个新组 --下一步--完成 lixiaohui11520012008-11-20 10:29:07 假设你的远程SQLServer数据库和你的本地是局域网,不知道sqlServer里面有没有dblin k(oracle中有,oracle就是用DBLink实现数据库同步的)。 ai000052009-10-04 08:05:07 MSSQL数据同步利用数据库复制技术实现数据同步更新(来自网络,也是非常完美的教程) 复制的概念 复制是将一组数据从一个数据源拷贝到多个数据源的技术,是将一份数据发布到多个存储站点上的有效方式。使用复制技术,用户可以将一份数据发布到多台服务器上,从而使不同的服务器用户都可以在权限的许可的范围内共享这份数据。复制技术可以确保分布在不同地点的数据自动同步更新,从而保证数据的一致性。 SQL复制的基本元素包括 出版服务器、订阅服务器、分发服务器、出版物、文章 SQL复制的工作原理 SQLSERVER主要采用出版物、订阅的方式来处理复制。源数据所在的服务器是出版服务器,负责发表数据。出版服务器把要发表的数据的所有改变情况的拷贝复制到分发服务器,分发服务器包含有一个分发数据库,可接收数据的所有改变,并保存这些改变,再把这些改变分发给订阅服务器 SQLSERVER复制技术类型 SQLSERVER提供了三种复制技术,分别是: 1、快照复制(呆会我们就使用这个) 2、事务复制 3、合并复制

分布式数据库数据同步技术研究

分布式数据库数据同步技术研究 由于分析式数据库同步技术应用越来越广泛,因此相关的研究也备受人们关注。本文主要是从分布式数据库同步技术的流程,以及数据同步的方法来对其进行阐述,以供大家参考。 标签:分布式数据库同步技术研究 一、前言 经济逐步发展,企业的数量和规模都在不断增多,每个企业在各地都有自己的子公司,为了能够使不同的公司运用相同的数据,就要采取数据库同步技术来解决。但是,因为其操作复杂,对网络以及系统的依赖性比较高,其运用时经常出现各种问题。 二、分布式数据库同步技术概述 1.分布式数据库的定义以及特征 分布式数据库又称DDB,其是Distributed Database的英文简称,它是一个数据库的集合,该集合包括计算机网络当中的每一个场地以及节点上面的数据库。分布式数据库有两大特点,即分布性和逻辑的协调性相统一。分布性是指所有的数据不是仅仅存放在单个的计算机的储存器上,而是根据整体的需要,将数据进行划分,形成具有一定结构的数据子集,然后将其储存在各个场所中;逻辑协调性就是指分布在不同场所的数据子集,其相互之间互相制约,使其形成一个逻辑上的整体。 2.数据同步技术 数据同步技术利用的是分布式数据库,使数据库中位于不同场所的数据实现同步更新,从而实现数据库的分布式处理应用。该项技术可以大大地提高用户使用和处理数据的透明程度,使每一个站点的自治性也有所提高。 三、技术同步的过程 根据数据同步流程,按照典型的三步数据同步过程,采用基于XML与.NET Removing的分布式数据同步模型,该数据同步模型采用松散一致性的单向数据同步方式,同步时由源端以推式方式进行。数据同步系统由三个部分组成,分别是更新差异数据模块、捕获差异数据模块以及分发差异数据。 该模型主要适用的是具有触发器功能的数据库管理系统,其是在https://www.sodocs.net/doc/711587813.html,平台上面构建而成的,它通过触发器来讲源数据库中的数据变化情况进行捕获,其数据变化的差异称作为差异数据,差异数据会在源端进行储存,

几种容灾数据复制技术的比较

一、概述 近几年来,容灾已经成为信息数据中心建设的热门课题。很多容灾技术也快速发展起来,对用户来说也有很广阔的选择余地。但由于容灾方案的技术复杂性和多样性,一般用户很难搞清其中的优劣以确定如何选择最适合自己状况的容灾解决方案。本文我们就容灾建设中的备份及复制技术做一个初步探讨,希望能对客户的数据中心容灾建设提供一些参考。 目前有很多种容灾技术,分类也比较复杂。但总体上可以区分为离线式容灾(冷容灾)和在线容灾(热容灾)两种类型。 二、离线式容灾 所谓的离线式容灾主要依靠备份技术来实现。其重要步骤是将数据通过备份系统备份到磁带上面,而后将磁带运送到异地保存管理。离线式容灾具有实时性低、可备份多个副本、备份范围广、长期保存、投资较少等特点,由于是备份一般是压缩后存放到磁带的方式所以数据恢复较慢,而且备份窗口内的数据都会丢失,因此一般用于数据恢复的RTO(目标恢复时间)和RPO(目标恢复点)要求较低的容灾。也有很多客户将离线式容灾和在线容灾结合起来增加系统容灾的完整性和安全性。 目前主流的备份软件主要有: l Symantec Veritas NetBackup l EMC Legato NetWorker l IBM Tivoli Storage Manager l Quest BakBone NetVault 三、在线容灾 在线容灾要求生产中心和灾备中心同时工作,生产中心和灾备中心之间有传输链路连接。数据自生产中心实时复制传送到灾备中心。在此基础上,可以在应用层进行集群管理,当生产中心遭受灾难出现故障时可由灾备中心接管并继续提供服务。因此实现在线容灾的关键是数据的复制。 和数据备份相比,数据复制技术具有实时性高、数据丢失少或零丢失、容灾恢复快、投资较高等特点。根据数据复制的层次,数据复制技术的实现可以分为三种:存储系统层数据复制、操作系统数据复制和数据库数据复制。

光传送网关键技术及应用

光传送网关键技术及应用 摘要:随着数据类业务的爆炸式持续增长,基于VC-12/VC-4带宽调度颗粒的同步 数字体系(SDH)结合点到点波分复用(WDM) 的典型传送网络结构面临着严峻挑战。如何在保持现有传送网络功能的前提下提供大 颗粒带宽的传送与调度,成为新一代光传送网亟需解决的课题。光传送网(OTN)技术的 出现,解决了大颗粒带宽的传送与调度的难题,同时在光层提供了类似SDH的组网、保护与管理等功能,在继承原有功能的基础上直接弥补了缺陷,是下一代传送网主流技术。由于处于应用初期,如何应用OTN成为目前业界关注的焦点问题。文章在综合分析多种因素的基础上提出了OTN的应用建议。 关键词:光传送网;关键技术;组网;应用 随着传送网络承载的主要客户类型由 语音转向数据的变化,基于光同步数字体系(SDH)以VC-12/VC-4为带宽调度颗粒结合点

到点波分复用(WDM)多波长传输的网络结构面临着严峻挑战。首先是数据业务量大导致传送带宽颗粒产生的低效适配问题,如对于路由器的千兆比以太网(GE)或10GE接口,若采用目前典型结构来传送,则需要多个VC-12/VC-4通过连续级联或虚级联的方式 来映射,适配和传送效率显着降低。其次是WDM网络的维护管理问题。目前的WDM网络主要检测SDH帧结构的B1字节和J0字节等开销[1],对于信号在WDM网络传输中的性能和告警等功能检测较弱。最后是WDM网络的组网能力问题。WDM网络目前仅仅支持点到点或者环网拓扑,在光域基本没有或支持有限的组网能力。因此,针对这些需求,国际电联(ITU-T)基于光域数字处理尚不成熟的技术现状,从1998年左右开始提出了基于大颗粒带宽进行组网、调度和传送的新型技术——光传送网(OTN)的概念,同时持续对于相关标准进行了规范,截至到目前已经规范了网络结构、网络接口、设备功能接口、管理模型和抖动等。OTN技术是综合了SDH 和WDM优势并考虑了大颗粒传送和端到端维

基于WEB的数据库访问技术

基于WEB的数据库访问技术 【摘要】基于WEB的数据库访问技术,在各具体业务应用与底层用户数据库间建立一种可扩展、可移植,具有较强伸缩性的统一的对外接口,以有效地支撑业务网络应用。 【关键词】WEB;数据库访问技术 1.引言 在三层C/S中应用程序访问数据库服务器都需要一定的数据访问技术的支持。从总体上数据访问技术可以分为数据访问接口和数据访问对象两部分,两者之间的关系如图1所示。 图1 数据访问技术关系图 数据访问接口:提供一组标准化接口(数据库引擎),允许应用程序访问不同类型的数据库管理系统。如ODBC,JDBC,OLE DB等;数据访问对象:提供用于通过数据库访问接口访问数据库管理系统的通用标准对象,不受应用程序开发语言的限制,实现对数据库的连接、增加、删除和查询等操作。如常见的有DAO,RDO,ADO,https://www.sodocs.net/doc/711587813.html,等对象模型。在数据访问技术研究初期,不同的数据库厂商都会提供不同的数据访问接口,开发人员需要针对不同的数据库管理系统(DBMS)学习不同的专用数据库访问技术,比如DB2系统的CLI Library、Oracle 的OCI Library等。这对开发人员造成了极大的困惑,使得数据库应用程序的开发很困难,影响开发进度;而且所开发的应用程序局限性很大,严重依赖于数据库平台,不利于应用程序的跨数据库平台移植。 2.通用基于WEB数据库访问技术 信息化时代,网络和信息管理高速发展,数据库技术日臻成熟,功能日趋完善,而网络和数据库之间的关联与应用日益紧密,用户对信息的要求随之也要达到高标准的实时性与交互性,因此WEB服务器与数据库技术的结合显得格外重要。数据库访问中间件技术出现一改传统两层结构,采取C/S三层结构,充分发挥了WEB技术和数据库技术二者结合的综合优势与潜力,提高了性能、访问效率和安全性。常见的基于WEB的数据库访问技术分为以下几种: 2.1 CGI技术 CGI即通用网关接口,是Web服务器与应用程序交互传递信息的一种标准接口。CGI的工作原理是客户端浏览器通过URL向Web服务器提出请求,服务器的守护进程将此请求传给相应CGI程序进行处理,然后CGI将处理结果返回客户端浏览器。CGI优点:通用性强,基本支持所有HTTP服务器,交互能力强,跨平台性能极佳,操作简单灵活。CGI缺点:应用程序通常独立执行,客户共享

SQL SERVER 2008数据库同步复制

SQL Server 2008数据库复制实现数据库同步备份 SQL Server 2008数据库复制是通过发布/订阅的机制进行多台服务器之间的数据同步,我们把它用于数据库的同步备份。这里的同步备份指的是备份服务器与主服务器进行实时数据同步,正常情况下只使用主数据库服务器,备份服务器只在主服务器出现故障时投入使用。它是一种优于文件备份的数据库备份解决方案。 在选择数据库同步备份解决方案时,我们评估了两种方式:SQL Server 2008的数据库镜像和SQL Server 2008数据库复制。数据库镜像的优点是系统能自动发现主服务器故障,并且自动切换至镜像服务器。但缺点是配置复杂,镜像数据库中的数据不可见(在SQL Server Management Studio中,只能看到镜像数据库处于镜像状态,无法进行任何数据库操作,最简单的查询也不行。想眼见为实,看看镜像数据库中的数据是否正确都不行。只有将镜像数据库切换主数据库才可见)。如果你要使用数据库镜像,强烈推荐killkill写的SQL Server 2005 镜像构建手册,我们就是按照这篇文章完成了数据库镜像部署测试。 最终,我们选择了SQL Server 2008数据库复制。 下面通过一个示例和大家一起学习一下如何部署SQL Server 2008数据库复制。 测试环境:Windows Server 2008 R2 + SQL Server 2008 R2(英文版),两台服务器,一台主数据库服务器CNBlogsDB1,一台备份数据库服务器CNBlogsDB2。 复制原理:我们采用的是基于快照的事务复制。主数据库服务器生成快照,备份库服务器读取并加载该快照,然后不停地从主数据库服务器复制事务日志。见下图:

数据库同步更新

数据库同步更新 一、两类方法实现数据库实时更新 1、简单表更新可通过创建触发器实现时时更新,如果数据量大的话,不建议此类。x 2、数据量大的话,可通过数据库复制技术实现。 二,方法概述: 复制是将数据或数据库对象从一个数据库复制和分发到另外一个数据库,并进行数据同步,从而使源数据库和目标数据库保持一致。使用复制,可以在局域网和广域网、拨号连接、无线连接和 Internet 上将数据分发到不同位置以及分发给远程或移动用户。 一组SQL SERVER2005复制有发布服务器、分发服务器、订阅服务器(图1 复制服务器之间的关系图)组成,他们之间的关系类似于书报行业的报社或出版社、邮局或书店、读者之间的关系。以报纸发行为例说明,发布服务器类似于报社,报社提供报刊的内容并印刷,是数据源;分发服务器相当于邮局,他将各报社的报刊送(分发)到订户手中;订阅服务器相当于订户,从邮局那里收到报刊。在实际的复制中,发布服务器是一种数据库实例,它通过复制向其他位置提供数据,分发服务器也是一种数据库实例,它起着存储区的作用,用于复制与一个或多个发布服务器相关联的特定数据。每个发布服务器都与分发服务器上的单个数据库(称作分发数据库)相关联。分发数据库存储复制状态数据和有关发布的元数据,并且在某些情况下为从发布服务器向订阅服务器移动的数据起着排队的作用。在很多情况下,一个数据库服务器实例充当发布服务器和分发服务器两个角色。这称为“本地分发服务器”。订阅服务器是接收复制数据的数据库实例。一个订阅服务器可以从多个发布服务器和发布接收 数据。 (图1) 复制有三种类:事务复制、快照复制、合并复制。

事务复制是将复制启用后的所有发布服务器上发布的内容在修改时传给订阅服务器,数据更改将按照其在发布服务器上发生的顺序和事务边界,应用于订阅服务器,在发布内部可以保证事务的一致性。快照复制将数据以特定时刻的瞬时状态分发,而不监视对数据的更新。发生同步时,将生成完整的快照并将其发送到订阅服务器。合并复制通常是从发布数据库对象和数据的快照开始,并且用触发器跟踪在发布服务器和订阅服务器上所做的后续数据更改和架构修改。订阅服务器在连接到网络时将与发布服务器进行同步,并交换自上次同步以来发布服务器和订阅服务器之间发生更改的所有行。 1、复制实例 这里以配置一个事务复制来说明复制配置过程。 试验在同一台机器的二个实例间进行,实例名分别是SERVER01、SERVER02 。将SERVER01配置发布服务器和分发服务器(也就是前面提到的“本地分发服务器”),SERVER02配置为 订阅服务器。在本例中将SERVER01中一个DBCoper库中person表作为发布的数据,在发布前请确保person表有主键、SQL SERVER 代理自动启动、发布数据库是日志是完整模式。第一步:完全备份SERVER01 DBCopy数据库,在SERVER02上恢复DBCopy数据库(复制前的同步,使用发布的源和目标数据一致) 第二步:在SERVER01上设置发布和分发A 在SERVER01的复制节点—>本地发布右键选择新建订阅(图2) ()(图2) B B 在新建发布向导中首先要求选择分发服务器,本例选择本机作为分发服务器,选择默认值。(图3)

数据中心同步平台建设方案

数据中心同步平台建设方案 第一章概述 1.1 平台建设背景 当前政府、企业的信息化的状况是,各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统,独立、异构、涵盖各自业务内容的信息处理系统,系统设计建设的时期不同、业务模式不同,信息化建设缺乏有效的总体规划,重复建设;缺乏统一的设计标准,大多数系统都是由不同的厂商在不同的平台上,使用不同的语言进行开发的,信息交互共享困难,存在大量的信息孤岛和流程孤岛。为了有效整合分散异构的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平。宇思公司要开发的数据共享交换平台,主要目的是有效整合分散异构系统的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平,灵活实现不同系统间的信息交换、信息共享与业务协同,加强信息资源管理,开展数据和应用整合,进一步发挥信息资源和应用系统的效能,提升信息化建设对业务和管理的支撑作用。 要求新构建的数据共享交换平台要遵循标准的、面向服务架构(SOA)的方式,基于先进的企业服务总线ESB技术,遵循先进技术标准和规范,为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务,实现扩展性良好的“松耦合”结构的应用和数据集成;同时

要求数据共享交换平台,能够通过分布式部署和集中式管理架构,可以有效解决各节点之间数据的及时、高效地上传下达,在安全、方便、快捷、顺畅的进行信息交换的同时精准的保证数据的一致性和准确性,实现数据的一次 数据共享交换平台-设计方案 采集、多系统共享;要求数据交换平台节点服务器适配器的可视化配置功能,可以有效解决数据交换平台的“最后一公里”问题,快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享,为各种应用和决策支持提供良好的数据环境。要求数据共享交换平台能够把各种纷繁复杂的数据系统集成在一起完成特定业务,提供同构数据、异构数据之间的数据抽取、格式转换、内容过滤、内容转换、同异步传输、动态部署、可视化管理监控等方面功能,支持的数据包括各主流数据库(如Oracle、SQL Server、MySQL等)、地理空间数据(如卫星影像、矢量数据)、常规文件(word、excel、pdf)等各种格式,并可以根据用户需求定制开发特定业务服务。 1.2 应用场景 场景一:中国科学院电子学研究所的信息交换需求 实现各个数据中心间的数据库层面的数据共享交换,各中心之间是双向的、实时的数据交换,各数据节点的数据库是同构的数据库系统(即Oracle),数据的类型是基于数据库表格的规则数据,字段类型包含BLOB字段类型。目前各数据节点的数据结构(表)是相同的,主要是一表对一表的数据交换,数据抽取和过滤需求比较简单。目前数据共享交换是通过Oracle GoldenGate数据库同步工具来

HDS 同步数据复制多对一复制

TCMD -数据容灾解决方案 TrueCopy Modular Distributed (“TCMD”)是HUS专有软件扩大TC能力允许在HUS各存储之间远程copy模式:8:1 (fan-in) or 8:1 (fan-out). TCMD数据容灾解决方案是HDS公司在全面分析各种操作系统、各种容灾技术、仔细研究客户对容灾的需求和理念之后,结合HDS Freedom 智能存储系统的特点推出的数据远程容灾解决方案;彻底解决长期困绕用户的、难于进行容灾方案的真实演练、真实数据测试的问题,最大限度的减少数据丢失问题;TCMD是基于磁盘存储系统运行的软件包,不依赖任何的主机操作系统和其他第三方厂商软件,为用户提供了最安全、最开放、最经济、最实用的远程容灾解决方案。 HDS公司作为全球最大的独立的磁盘存储生产厂商,专注于单一化产品生产的优势,拥有熟悉IBM、HP、SUN、Compaq、SGI、Dell、Window NT/2000以及Linux等平台和远程灾备实施的经验丰富的服务工程师,向用户提供全方位的灾备方案设计、技术咨询和实施服务。 TCMD是对TrueCopy软件的一个扩展功能 目前,HDS的TrueCopy软件其独有的时间戳(Timestamp)和一致性组(Consistency Group)技术,是目前存储业界唯一可行且安全的存储系统之间的异步数据备份方案,保证异步处理方式下的数据一致性和完整性,最大程度的减少数据的丢失,并被广大用户采用。 1.主要功能 - TrueCopy Async异步数据拷贝软件,是HDS公司独有的创新技术,是世界第一也是唯一的在开放环境中基于存储硬件系统的、无需主机系统的、异步处理方式的、能够保证数据一致性的远程拷贝软件,它可以在重复发生的灾难中保护数据,在任何远的距离保持数据库记录被修改顺序的完整性; - TrueCopy可以在在任何距离下,提供完整的、可靠的异地或同城灾难数据恢复和应用系统快速重新启动的解决方案,先进的处理技术能够最大程度的减少灾难时的数据丢失,提升企业对事故和灾难的应变能力和快速反应能力; - 通过与HDS ShadowImage(本地数据镜像拷贝软件)配合,可以用PIT拷贝获得真实的生产环境数据,不必中止生产系统的运行,能够频繁的启动

sql2000数据库数据同步复制技术资料

SQL2000数据库数据同步复制技术详解 SqlServer数据库数据同步是项目中常用到的环节,若一个项目中的数据同时存在于不同的数据库服务器中,而这些数据库需要被多个不同的网域调用时,配置SqlServer数据库数据同步是个比较好的解决方案。SqlServer数据库数据同步的配置比较烦锁,下面对其配置详细步骤进行介绍: 一、数据复制前提条件 1. 数据库故障还原模型必需为完全还原模型。 2. 所有被同步的数据表都必须要用主键。 3. 发布服务器、分发服务器和订阅服务器必须使用计算机名称来进行SQLSERVER服务器的注册。 4. SQLSERVER必需启动代理服务,且代理服务必需以本地计算机的帐号运行。 二、解决前提条件实施步骤 1. 将数据库故障还原模型调整为完全还原模型。具体步骤如下: 打开SQLSERVER企业管理器à选择对应的数据库à单击右键选择属性à选择”选项”à 故障还原模型选择完全还原模型。 2. 所有被同步的数据表都必须要用主键。(主要指事务复制)如果没有主键的数据表,增加一个字段名称为id,类型为int 型,标识为自增1的字段。 3. 发布服务器、分发服务器和订阅服务器必须使用计算机名称来进行SQLSERVER服务器的注册。 在企业管理器里面注册的服务器,如果需要用作发布服务器、分发服务器和订阅服务器,都必需以服务器名称进行注册。不得使用IP地址以及别名进行注册,比如LOCAL, “.”以及LOCALHOST等。 如果非同一网段或者远程服务器,需要将其对应关系加到本地系统网络配置文件中。文件的具体位置 在%systemroot%\system32\drivers\etc\hosts 配置方式: 用记事本打开hosts文件,在文件的最下方添加IP地址和主机名的对应关系。如图:

相关主题