Oracle数据库之间数据同步

Oracle数据库之间数据同步

[日期：2011-12-17] 来源：Linux社区作者：Linux [字体：大中小]

这段时间负责某个项目开发的数据库管理工作，这个项目中开发库与测试数据库分离，其中某些系统表数据与基础资料数据经常需要进行同步，为方便完成指定数据表的同步操作，可以采用dblink与merge结合的方法完成，简单方便。

操作环境：此Oracle数据库服务器ip为192.168.196.76,有center与branch两个库，一般需要将center的表数据同步到branch，center为源库，branch为目标库，具体步骤如下：

1.在源库创建到目标库的dblink

create database link branch --输入所要创建dblink的名称，自定义

connect to dbuser identified by “password”--设置连接远程数据库的用户名和密码

using '192.168.196.76/branch'; --指定目标数据库的连接方式，可用tns名称

在创建dblink时，要注意，有时候可能会报用户名和密码错误，但实际上我们所输入的账户信息是正确的，此时就注意将密码的大小写按服务器上所设置的输入，并在账号密码前号加上双引号(服务器版本不同造成的)。

2.成功后验证dblink

select * from tb_bd_action@branch;

正常情况下，如果创建dblink成功，可采用该方式访问到远程数据库的表.

3.通过merge语句完成表数据同步

此例中需要将center库中的tb_sys_sqlscripe表同步到branch，简单的语法如下:

merge into tb_sys_sqlscripe@branch b using tb_sys_sqlscripe c on (b.pk=c.pk) --从c enter将表merge到branch,同步的依据是两个表的pk

when matched then update set b.sqlscripe=c.sqlscripe,b.author=c.author --如果pk值是相同则将指定表的值更新到目标表

when not matched then --如果pk值不一至，则将源表中的数据整条插入到目标表中

insert values (c.pk, c.fk, c.createtime, https://www.sodocs.net/doc/b12567023.html,stmodifytime,c.author,c.module,c.deleteflag, c.scripttype);

commit; --记得merge后必须commit,否则更改未能提交

4.为方便每次需要同步时自动完成同步工作，可将该语句做成存储过程或脚本来定时执行或按要求手动执行,简单说一下创建脚本的方法:

a.创建merge文件夹

b.先将merge语句写完整后，存到merge.sql文件中

c.新建merge.bat文件，编辑后写入以下内容

sqlplus user/password@serverip/database @"%cd%\merge.sql"

当运行merge.bat时就会自动完成所指定不同数据库间的同步工作

Oracle数据库系统紧急故障处理方法

Oracle数据库系统紧急故障处理方法 Oracle物理结构故障是指构成数据库的各个物理文件损坏而导致的各种数据库故障。这些故障可能是由于硬件故障造成的，也可能是人为误操作而引起。所以我们首先要判断问题的起因，如果是硬件故障则首先要解决硬件问题。在无硬件问题的前提下我们才能按照下面的处理方发来进一步处理。 控制文件损坏： 控制文件记录了关于oracle的重要配置信息，如数据库名、字符集名字、各个数据文件、日志文件的位置等等信息。控制文件的损坏，会导致数据库异常关闭。一旦缺少控制文件，数据库也无法启动，这是一种比较严重的错误。 损坏单个控制文件： 1. 确保数据库已经关闭，如果没有用下面的命令来关闭数据库： svrmgrl>shutdown immediate; 2. 查看初始化文件$ORACLE_BASE/admin/pfile/initORCL.ora,确定所有控制文件的路径。 3. 用操作系统命令将其它正确的控制文件覆盖错误的控制文件。 4. 用下面的命令重新启动数据库： svrmgrl>startup; 5. 用适当的方法进行数据库全备份。 损坏所有的控制文件： 1. 确保数据库已经关闭，如果没有用下面的命令来关闭数据库： svrmgrl>shutdown immediate; 2. 从相应的备份结果集中恢复最近的控制文件。对于没有采用带库备份的点可以直接从磁带上将最近的控制文件备份恢复到相应目录；对于采用带库备份的点用相应的rman脚本来恢复最近的控制文件。 3. 用下面的命令来创建产生数据库控制文件的脚本：

svrmgrl>startup mount; svrmgrl>alter database backup controlfile to trace noresetlogs; 4. 修改第三步产生的trace文件，将其中关于创建控制文件的一部分语句拷贝出来并做些修改，使得它能够体现最新的数据库结构。假设产生的sql文件名字为createcontrol.sql. 注意： Trace文件的具体路径可以在执行完第3）步操作后查看 $ORACLE_BASE/admin/bdump/alert_ORCL.ora文件来确定。 5. 用下面命令重新创建控制文件： svrmgrl>shutdown abort; svrmgrl>startup nomount; svrmgrl>@createcontrol.sql; 6. 用适当的方法进行数据库全备份。 重做日志文件损坏： 数据库的所有增、删、改都会记录入重做日志。如果当前激活的重做日志文件损坏，会导致数据库异常关闭。非激活的重做日志最终也会因为日志切换变为激活的重做日志，所以损坏的非激活的重做日志最终也会导致数据库的异常终止。在ipas/mSwitch中每组重做日志只有一个成员，所以在下面的分析中只考虑重做日志组损坏的情况，而不考虑单个重做日志成员损坏的情况。 确定损坏的重做日志的位置及其状态： 1. 如果数据库处于可用状态： select * from v$logfile; svrmgrl>select * from v$log; 2. 如果数据库处于已经异常终止： svrmlgr>startup mount; svrmgrl>select * from v$logfile;

oracle stream同步

Oracle Stream配置详细步骤 1 引言 Oracle Stream功能是为提高数据库的高可用性而设计的，在Oracle 9i及之前的版本这个功能被称为Advance Replication。Oracle Stream利用高级队列技术，通过解析归档日志，将归档日志解析成DDL及DML语句，从而实现 1 引言 Oracle Stream功能是为提高数据库的高可用性而设计的，在Oracle 9i及之前的版本这个功能被称为Advance Replication。Oracle Stream利用高级队列技术，通过解析归档日志，将归档日志解析成DDL及DML语句，从而实现数据库之间的同步。这种技术可以将整个数据库、数据库中的对象复制到另一数据库中，通过使用Stream的技术，对归档日志的挖掘，可以在对主系统没有任何压力的情况下，实现对数据库对象级甚至整个数据库的同步。 解析归档日志这种技术现在应用的比较广泛，Quest公司的shareplex软件及DSG公司的realsync 都是这样的产品，一些公司利用这样的产品做应用级的容灾。但shareplex或是realsync都是十分昂贵的，因此你可以尝试用Stream这个Oracle提供的不用额外花钱的功能。Oracle Stream对生产库的影响是非常小的，从库可以是与主库不同的操作系统平台，你可以利用Oracle Stream复制几个从库，从库可用于查询、报表、容灾等不同的功能。本文不谈技术细节，只是以手把手的方式一步一步的带你把Stream的环境搭建起来，细节内容可以查联机文档。 2 概述 主数据库： 操作系统：Solaris 9 IP地址：192.168.10.35 数据库：Oracle 10.2.0.2 ORACLE_SID：prod Global_name：prod 从数据库： 操作系统：AIX 5.2 IP地址：192.168.10.43

ORACLE常用SQL语句大全

ORACLE常用SQL语句大全 一、基础 1、说明：创建数据库 CREATE DATABASE database-name 2、说明：删除数据库 drop database dbname 3、说明：备份sql server --- 创建备份数据的 device USE master EXEC sp_addumpdevice 'disk', 'testBack', 'c:/mssql7backup/MyNwind_1.dat' --- 开始备份 BACKUP DATABASE pubs TO testBack 4、说明：创建新表 create table tabname(col1 type1 [not null] [primary key],col2 type2 [not nul l],..) 根据已有的表创建新表： A：select * into table_new from table_old (使用旧表创建新表) B：create table tab_new as select col1,col2… from tab_old definition only<仅适用于Oracle> 5、说明：删除表 drop table tablename

6、说明：增加一个列，删除一个列 A：alter table tabname add column col type B：alter table tabname drop column colname 注：DB2DB2中列加上后数据类型也不能改变，唯一能改变的是增加varchar类型的长度。 7、添加主键： Alter table tabname add primary key(col) 删除主键： Alter table tabname drop primary key(col) 8、创建索引：create [unique] index idxname on tabname(col….) 删除索引：drop index idxname 注：索引是不可更改的，想更改必须删除重新建。 9、创建视图：create view viewname as select statement 删除视图：drop view viewname 10、几个简单的基本的sql语句 选择：select * from table1 where 范围 插入：insert into table1(field1,field2) values(value1,value2) 删除：delete from table1 where 范围 更新：update table1 set field1=value1 where 范围 查找：select * from table1 where field1 like ’%value1%’ ---like的语法很精妙，查资料! 排序：select * from table1 order by field1,field2 [desc] 总数：select count as totalcount from table1 求和：select sum(field1) as sumvalue from table1 平均：select avg(field1) as avgvalue from table1 最大：select max(field1) as maxvalue from table1 最小：select min(field1) as minvalue from table1 11、几个高级查询运算词 A：UNION 运算符 UNION 运算符通过组合其他两个结果表（例如 TABLE1 和 TABLE2）并消去表中任何重复行而派生出一个结果表。当 ALL 随 UNION 一起使用时（即 UNION ALL），不消除重复行。两种情况下，派生表的每一行不是来自 TABLE1 就是来自 TABLE2。 B：EXCEPT 运算符 EXCEPT 运算符通过包括所有在 TABLE1 中但不在 TABLE2 中的行并消除所有重复行而派生出一个结果表。当ALL 随 EXCEPT 一起使用时 (EXCEPT ALL)，不消除重复行。 C：INTERSECT 运算符 INTERSECT 运算符通过只包括 TABLE1 和 TABLE2 中都有的行并消除所有重复行而派生出一个结果表。当 ALL 随 INTERSECT 一起使用时 (INTERSECT ALL)，不消除重复行。 注：使用运算词的几个查询结果行必须是一致的。 12、使用外连接

Oracle数据库startup和shutdown方式

Oracle数据库startup和shutdown方式 昨天晚上,回去好好整理了下关于"Oracle数据库提供了几种不同数据库启动和关闭方 式",然后,自己就回去就写了个示例. 其中,就出现了1个问题: ORA-12528: TNS:listener: all appropriate instances are blocking new connections 于是到网上就大量的查阅资料,哈哈,好不错,解决方法找到了.其中红色的就是主要解决方法.下面就把我整理的东西给共享下. 一：注意事项 要启动和关闭数据库，必须要以具有Oracle 管理员权限用户登陆，通常也就是以具有SYSDBA 权限用户登陆。一般我们常用INTERNAL用户来启动和关闭数据库（INTERNAL用户实际上是SYS用户以SYSDBA连接同义词）。Oracle数据库新版本将逐步淘汰INTERNAL这个内部用户，所以我们最还是设置DBA用户具有SYSDBA权限。 二：启动一个数据库需要三个步骤 1、创建一个Oracle实例（非安装阶段） 2、由实例安装数据库（安装阶段） 3、打开数据库（打开阶段） 三：Startup（启动数据库命令） 1、STARTUP NOMOUNT NONOUNT选项仅仅创建一个Oracle实例。读取init.ora初始化参数文件、启动后台进程、初始化系统全局区（SGA）。Init.ora文件定义了实例配置，包括内存结构大小和启动后台进程数量和类型等。实例名根据Oracle_SID设置，不一定要与打开数据库名称相同。当实例打开后，系统将显示一个SGA内存结构和大小列表，如下所示： SQL> startup nomount ORACLE 例程已经启动。 Total System Global Area 35431692 bytes Fixed Size 70924 bytes Variable Size 18505728 bytes Database Buffers 16777216 bytesu Redo Buffers 77824 bytes 2、STARTUP MOUNT 该命令创建实例并且安装数据库，但没有打开数据库。Oracle系统读取控制文件中关于数据文件和重作日志文件内容，但并不打开该文件。这种打开方式常在数据库维护操作中使用，如对数据文件更名、改变重作日志以及打开归档方式等。在这种打开方式下，除了可以看到SGA系统列表以外，系统还会给出"数据库装载完毕"提示。 3、STARTUP

Oracle数据库基本知识点

1、数据库基本语句 （1）表结构处理 创建一个表：cteate table 表名（列1 类型，列2 类型）; 修改表的名字 alter table 旧表名 rename to 新表名 查看表结构 desc 表名（cmd） 添加一个字段 alter table 表名 add（列类型）; 修改字段类型 alter table 表名 modify(列类型); 删除一个字段 alter table 表名 drop column列名; 删除表 drop table 表名 修改列名 alter table 表名 rename column 旧列名 to 新列名; （2）表数据处理 增加数据：insert into 表名 values(所有列的值); insert into 表名（列）values(对应的值); 更新语句：update 表 set 列=新的值，…[where 条件] 删除数据：delete from 表名 where 条件 删除所有数据，不会影响表结构，不会记录日志， 数据不能恢复--》删除很快: truncate table 表名 删除所有数据，包括表结构一并删除: drop table 表名 去除重复的显示：select distinct 列 from 表名 日期类型:to_date(字符串1，字符串2)字符串1是日期的字 符串，字符串2是格式 to_date('1990-1-1','yyyy-mm-dd')-->返回日期的 类型是1990-1-1 （3）查询语句 1）内连接 select a.*,b.* from a inner join b on a.id=b.parent_id

Oracle数据库的启动与关闭

以下资料来自Oracle数据库精讲与疑难解析，仅供学习 一、Oracle数据库的启动 Oracle数据库的启动要经历3个阶段。 阶段一：启动实例 (Start An Instance)--nomount 阶段二：装载数据库 (Mount The Database)--mount 阶段三：打开数据库 (Open The Database)--open 1.启动实例 ①读取参数文件(Initialization Parameter File, PFILE 或者 Server Parameter Files, SPFILE) ②Oracle根据参数文件中的参数，分配系统全局区（System Global Area， SGA） ③启动后台进程(DBWR: 数据库写入进程，LGWR：日志写入进程，CKPT：检查点进程，SMON： 系统监控进程，PMON：进程监控进程，ARCH归档进程等）。 这些内存和后台进程组合起来组成实例(Oracle Instance）。 参数文件(PFILE或者SPFILE)还指定了控制文件(Control File)的位置。 2.装载数据库 打开控制文件(Control File),从控制文件中获得数据文件(Data File)和联机日志文件(Redo Log File)的名字和位置。这时候，Oracle已经把实例和数据库关联起来。对于普通用户，数据库 还是不可访问。 3.打开数据库 Oracle打开数据文件 (Data Files) 和联机日志文件 (Redo Log File) 。这时候，数据库可以使用。 普通可以登录数据库，对数据库进行操作。 4.分步启动Oracle STARTUP NOMOUNT; ALTER DATABASE MOUNT; ALTER DATABASE OPEN; 5.直接启动Oracle STARTUP (相当于上面三个过程依次进行） 6.使用特定初始化参数文件 (Initialization Parameter File, FILE) 启动数据库 STARTUP PFILE='C: \oracle\product\10.2.0\db_1\dbs\PFILEORCL.ORA'; 7.把数据库启动到限制模式(RESTRICT) 在限制模式下，只有CREATE SESSION 和RESTRICTED SESSION权限的用户可以访问数据库。 ①如果数据库是关闭的 STARTUP RESTRICT; ②如果数据库是开启的 ALTER SYSTEM enable restricted session; 8.以只读模式(Read Only)打开数据库 ①如果数据库是关闭的 STARTUP open read only; ②如果数据库是开启的 ALTER DATABASE OPEN read only; 在直读模式下,数据文件和日志文件都禁止写操作。整个数据库是只读的。 但是允许数据库恢复(Database Recovery)及其他不会产生回滚的操作。 9.把数据库启动到回复模式 (RECOVER) STARTUP OPEN RECOVER; 10.重启数据库(RESET) STARTUP FORCE

Oracle数据库同步技术

基于Oracle数据库的数据同步技术大体上可分为两类：Oracle自己提供的数据同步技术和第三方厂商提供的数据同步技术。Oracle自己的同步技术有DataGuard，Streams，Advanced Replication和今年 刚收购的一款叫做GoldenGate的数据同步软件。第三方厂商的数据同步技术有Quest公司的SharePlex 和DSG的RealSync。下面对这些技术逐一进行介绍。 一、DataGuard数据同步技术 DataGuard是Oracle数据库自带的数据同步功能，基本原理是将日志文件从原数据库传输到目标数据库，然后在目标数据库上应用（Apply）这些日志文件，从而使目标数据库与源数据库保持同步。DataGuard 提供了三种日志传输（Redo Transport）方式，分别是ARCH传输、LGWR同步传输和LGWR异步传输。在上述三种日志传输方式的基础上，提供了三种数据保护模式，即最大性能（Maximum Performance Mode）、最大保护（Maximum Protection Mode）和最大可用（Maximum Availability Mode），其中最大保护模式 和最大可用模式要求日志传输必须用LGWR同步传输方式，最大性能模式下可用任何一种日志传输方式。 最大性能模式：这种模式是默认的数据保护模式，在不影响源数据库性能的条件下提供尽可能高的 数据保护等级。在该种模式下，一旦日志数据写到源数据库的联机日志文件，事务即可提交，不必等待日 志写到目标数据库，如果网络带宽充足，该种模式可提供类似于最大可用模式的数据保护等级。 最大保护模式：在这种模式下，日志数据必须同时写到源数据库的联机日志文件和至少一个目标库 的备用日志文件（standby redo log），事务才能提交。这种模式可确保数据零丢失，但代价是源数据库的可用性，一旦日志数据不能写到至少一个目标库的备用日志文件（standby redo log），源数据库将会被关闭。这也是目前市场上唯一的一种可确保数据零丢失的数据同步解决方案。 最大可用模式：这种模式在不牺牲源数据库可用性的条件下提供了尽可能高的数据保护等级。与最 大保护模式一样，日志数据需同时写到源数据库的联机日志文件和至少一个目标库的备用日志文件（standby redo log），事务才能提交，与最大保护模式不同的是，如果日志数据不能写到至少一个目标库的备用日志文件（standby redo log），源数据库不会被关闭，而是运行在最大性能模式下，待故障解决并将延迟的日志成功应用在目标库上以后，源数据库将会自动回到最大可用模式下。 根据在目标库上日志应用（Log Apply）方式的不同，DataGuard可分为Physical Standby（Redo Apply）和Logical Standby（SQL Apply）两种。 Physical Standby数据库，在这种方式下，目标库通过介质恢复的方式保持与源数据库同步，这种方 式支持任何类型的数据对象和数据类型，一些对数据库物理结构的操作如数据文件的添加，删除等也可支持。如果需要，Physical Standby数据库可以只读方式打开，用于报表查询、数据校验等操作，待这些操 作完成后再将数据库置于日志应用模式下。 Logical Standby数据库，在这种方式下，目标库处于打开状态，通过LogMiner挖掘从源数据库传 输过来的日志，构造成SQL语句，然后在目标库上执行这些SQL，使之与源数据库保持同步。由于数据 库处于打开状态，因此可以在SQL Apply更新数据库的同时将原来在源数据库上执行的一些查询、报表等操作放到目标库上来执行，以减轻源数据库的压力，提高其性能。 DataGuard数据同步技术有以下优势： 1）Oracle数据库自身内置的功能，与每个Oracle新版本的新特性（如ASM）都完全兼容，且不 需要另外付费； 2）配置管理较简单，不需要熟悉其他第三方的软件产品； 3）Physical Standby数据库支持任何类型的数据对象和数据类型；

将SQLSERVER中的数据同步到ORACLE中

如何将SQLServer2005中的数据同步到Oracle中 有时由于项目开发的需要，必须将SQLServer2005中的某些表同步到Oracle数据库中，由其他其他系统来读取这些数据。不同数据库类型之间的数据同步我们可以使用链接服务器和SQLAgent来实现。假设我们这边（SQLServer2005）有一个合同管理系统，其中有表contract 和contract_project是需要同步到一个MIS系统中的（Oracle9i）那么，我们可以按照以下几步实现数据库的同步。 1.在Oracle中建立对应的contract 和contract_project表，需要同步哪些字段我们就建那些字段到O racle表中。 这里需要注意的是Oracle的数据类型和SQLServer的数据类型是不一样的，那么他们之间是什么样的关系拉？我们可以在SQLServer下运行： SELECT* FROM msdb.dbo.MSdatatype_mappings SELECT* FROM msdb.dbo.sysdatatypemappings 来查看SQLServer和其他数据库系统的数据类型对应关系。第一个SQL语句是看SQL转Oracle的类型对应，而第二个表则更详细得显示了各个数据库系统的类型对应。根据第一个表和我们的SQLServer中的字段类型我们就可以建立好Oracle表了。 ORACLE bigint NUMBER1931 ORACLE binary BLOB NULL01 ORACLE binary RAW-141 ORACLE bit NUMBER131 ORACLE char CHAR-141 ORACLE char CLOB NULL01 ORACLE char VARCHAR2-141 ORACLE datetime DATE NULL01 ORACLE decimal NUMBER-131 ORACLE double precision FLOAT NULL01 ORACLE float FLOAT NULL01 ORACLE image BLOB NULL01 ORACLE int NUMBER1031 ORACLE money NUMBER1931 ORACLE nchar NCHAR-141 ORACLE nchar NCLOB NULL01 ORACLE ntext NCLOB NULL01 ORACLE numeric NUMBER-131 ORACLE nvarchar NCLOB NULL01 ORACLE nvarchar NVARCHAR2 -141 ORACLE nvarchar(max) NCLOB NULL01 ORACLE real REAL NULL01 ORACLE smalldatetime DATE NULL01 ORACLE smallint NUMBER531 ORACLE smallmoney NUMBER1031

oracle跨实例数据同步

Oracle 快照及dblink使用（两台服务器数据同步）跨ORACLE实例数据同步（物化视图应用） 名词说明：源——被同步的数据库 -- 目的——要同步到的数据库 /*一、创建dblink：*/ --1、在目的数据库上，创建dblin drop public database link dblink_anson; Create public database link dblink_anson Connect to lg identified by lg using 'SDLGDB'; --源数据库的用户名、密码、服务器名k /*二、创建快照：*/ --1、在源和目的数据库上同时执行一下语句，创建要被同步的表 drop table tb_anson; create table tb_anson(c1 varchar2(12)); alter table tb_anson add constraint pk_anson primary key (C1);

--2、在目的数据库上，测试dblink select * from tb_anson@dblink_anson; select * from tb_anson; --3、在目的数据库上，创建要同步表的快照日志 Create snapshot log on tb_anson; --4、创建快照，快照(被同步（源）数据库服务必须启动) Create snapshot sn_anson as select * from tb_anson@dblink_anson; --5、设置快照刷新时间 Alter snapshot anson refresh fast Start with sysdate+1/24*60 next sysdate+10/24*60; --oracle自动在1分钟后进行第一次快速刷新，以后每隔10分钟快速刷新一次 Alter snapshot anson refresh complete Start with sysdate+30/24*60*60 next sysdate+1;

Oracle数据仓库-电信行业应用案例

转眼，从事电信行业BI/DW已经有三年时间了，一直想写点东西，给大家共同分享，感谢ERP 100给我了一个展示的平台！ 连载时间：一周一篇 连载提纲: 第一篇数据仓库建设目标、系统规模及项目面临的技术挑战 第二篇选择数据仓库平台的考虑 第三篇选择Oracle产品的原因 第四篇系统现状分析、DW数据仓库建设原则及整体规划的实现 第五篇整体规划的实现、新增应用优先级的确定及螺旋式建设方法 第六篇数据仓库的效益、成本和风险控制 第七篇数据模型设计方法 第八篇构建闭环的信息流、数据模型-分层设计、DW中的数据功能划分 第九篇数据抽取策略、数据抽取过程管理、对脏数据的管理、数据去重及元数据管理及 第十篇典型的应用流程、主题分析及应用推广方法 （第一篇）数据仓库建设目标、系统规模及项目面临的技术挑战 1 数据仓库项目建设目标: 建立统一的数据信息平台，实现客户资料和生产数据的集中存储。利用先进的数据仓库技术和决策分析技术为市场营销和客户服务工作提供有效的支撑: 2 目前系统规模: 包含12个月的话单；数据库容量为65TB,其中原始数据为25TB；最大的表包含1800亿话单

3 项目面临的技术挑战: 数据存储－系统要求存储12－18个月的详单数据； 数据装载－按小时装载详单数据，要求每天在8小时内装载5亿条详单；高峰时一个小时装载6500万条详单；在8小时内同时完成1亿7000万个汇总操作 数据访问－支持680个并发用户，支持8000个系统用户;5%的预定义查询操作在5秒钟内完成;每秒钟23个查询操作 Sina微薄互动地址：https://www.sodocs.net/doc/b12567023.html,/2186879022/zDx5x29Cw 感谢大家的参与和鼓励，pathwide的建议很好，下面列举出该连载的计划提纲，如下： 连载周期:一周一篇 连载提纲： 第一篇数据仓库建设目标、系统规模及项目面临的技术挑战 第二篇选择数据仓库平台的考虑 第三篇选择Oracle产品的原因 第四篇系统现状分析、DW数据仓库建设原则及整体规划的实现 第五篇整体规划的实现、新增应用优先级的确定及螺旋式建设方法 第六篇数据仓库的效益、成本和风险控制 第七篇数据模型设计方法 第八篇构建闭环的信息流、数据模型-分层设计、DW中的数据功能划分 第九篇数据抽取策略、数据抽取过程管理、对脏数据的管理、数据去重及元数据管理及 第十篇典型的应用流程、主题分析及应用推广方法 希望大家积极参与，共同分享BI/DW的项目经验，同时，有不到位的地方，还请大家多多指正，谢谢！ 选择数据仓库平台时的考虑 4 选择数据仓库平台时的考虑 4.1 强大的ETL支持能力－支持按小时的数据装载 4.2 高效的数据访问－硬件的支持:多CPU 大内存并发处理 分区技术 索引技术 数据库内置分析能力 4.3 高可用性7 * 24小时不间断运行 4.4 数据访问每秒钟23到100个并发查询操作; 95%的查询在1秒内完成 4.5 数据表分区－混合分区 按地区建立列表分区； 按时间建立范围分区； 4.6 可传输的表空间 操作系统文件的直接复制；不需要数据的导入、导出

服务器(ORACLE)启动与关闭

服务器(O R A C L E)启动 与关闭

一、重启服务器顺序： 关闭数据库（toppord/toptest）→重启设备（reboot）→开启数据 库(只需要开启toptest，topprod已设置自动启用) 二、Linux下启动 oracle 数据库 -- ssh连接上数据库主机，正式区DB(172.16.13.228) / 测试区DB(172.16.13.224) -- su – root/tiptop -- su – oracle -- echo $ORACLE_SID #检查当前实例 -- export ORACLE_SID=topprod(正式区)/ export ORACLE_SID=topprod(测试区) # 设置实例 -- lsnrctl start -- sqlplus / as sysdba -- startup 至此，已将数据库开启到OPEN状态。 三、Linux下关闭ORACLE数据库 -- ssh连接上正式区DB(172.16.13.228) / 测试区DB(172.16.13.224) -- su - root/root #切换至ROOT管理员用户 -- su – oracle #切换至oracle用户（oracle用户密码原为oracle，但不正 确） -- echo $ORACLE_SID #检查当前实例 -- export ORACLE_SID=topprod(正式区)/ export ORACLE_SID=topprod(测试区) #设置实例

-- sqlplus / as sysdba #以数据库管理员身份进入数据库 -- shutdown immediate #关闭数据库 -- su – root/root #切换回系统ROOT用户 -- reboot #重启服务器 检查服务器资源命令 AP:top DB:topas 备注： oracle数据库几种关闭方式： 1、shutdown normal 正常方式关闭数据库 关闭时间较长，等待事务完成才会关闭数据库。 2、shutdown immediate 立即方式关闭数据库（一般使用该方式） 会结束事务，将未提交的事务全部回滚。在SVRMGRL中执行shutdown immediate，数据库并不立即关闭，而是在Oracle执行某些清除工作后才关闭（终止会话、释放会话资源），当使用shutdown不能关闭数据库时，shutdown immediate可以完成数据库关闭的操作。 3、shutdown abort 直接关闭数据库 会造成数据库的不一致，再次启动数据库会自动执行恢复，会造成等待时间较长。正在访问数据库的会话会被突然终止，如果数据库中有大量操作正在执行，这时执行shutdown abort后，重新启动数据库需要很长时间。

提升数据保护：Oracle数据仓库的实时数据采集

提升数据保护：Oracle数据仓库的实时数据采集在使用数据仓库软件时，最常见的约束之一是源系统数据批量提取处理时的可用时间窗口。通常，极其耗费资源的提取流程必须在非工作时间进行，而且仅限于访问关键的源系统。 低影响实时数据整合软件可以释放系统的批处理时间。当提取组件使用非侵入式方法时，如通过读取数据库事务日志，只会捕捉发生变化的数据，不会对源系统产生影响。因此，数据提取流程可以在任意时段全天候执行，即使用户在线也可以。 当以实时方式提取数据时，虽然必须改变数据采集流程中各个元素支持实时数据的方式，但是这些数据可以带来不一般的业务价值。而且，这些数据必须得到有效的保护，同时也很难针对这些不停变化的数据应用灾难恢复和备份技术。 但是，在数据仓库中应用实时数据整合的技术也可以进一步保护数据。毕竟，实时移动数据的技术也可以实时操作数据，从而形成一个数据保护技术入口。但是，变化数据的速度和效率可能会受制于数据保护流程的延迟。

这意味着，在转到整合数据仓库的主动数据采集模式时，首要考虑的问题之一是数据经过IT系统的流程和可能产生的延迟。换而言之，实时数据整合要求理解变化的数据，以及促进或妨碍这种变化的组件。 显然，企业希望保护他们的数据。然而，随着数据容量需求的增长，存储技术也成为业务持续性依赖的重要业务资产。而且，随着实时分析成为业务流程的一部分，它也归入到业务持续性的范畴之中。实现数据安全性和持续性的最基本方法是硬件或软件复制，它会自动保存第二个关键数据副本。此外，自行创建或基于开源软件创建的备份方法也不存在。 企业级数据管理应用主要涉及5个重要领域：灾难恢复、高可用性、备份、数据处理性能和更高级数据库移植。这促使IT不停地追寻先进技术，如实现数据整合及其相关基础架构元素。此外，这些战略投资能够提供符合预算的资源，在加快实时技术应用的同时，提高投资回报和修正实时数据整合项目的商业提案。

浅谈Oracle 数据库之间数据同步方案

随着信息技术的飞速发展，企业信息化建设的不断深入，使得企业业务系统数量不断增加。这时，各业务系统之间数据交互，各子业务系统与核心业务系统之间数据交互，诸如此类场景的应用需求不断出现。因此，IT部门应对此类需求的压力越来越大。比较突出的问题，主要有实时性与性能的冲突，数据交互方案的安全性与健壮性等。下面浅谈下Oracle数据库之间数据同步方案，不涉及方案的好坏选择，可供参考。 Oracle 提供的数据同步方案： 1，比较原始的，触发器/Job + DBLINK的方式，可同步和定时刷新。 2，物化视图刷新的方式，有增量刷新和完全刷新两种模式，定时刷新。 3，高级复制，分为多主复制和物化视图复制两种模式。其中多主复制能进行双向同步复制和异步复制，物化视图用于单向复制，定时刷新，与2类似。 4，流复制，可实时和非实时同步。 5，GoldenGate复制，Oracle新买的复制产品，后面应该会取代流复制。它不仅能提供Oracle数据库之间的数据复制支持，还支持在不同种数据库之间的数据同步，也可设置实时和非实时同步。 6，DataGurd,此技术主要用于灾备方案，不过在最新11gR2版本中加入了备库实时应用日志，同时能open 提供read only访问的功能。因此，可以作为读写分离，或者作为report数据库，降低系统负载的一个好的方案。 其中上面1，2，3，是采用Oracle数据库内部的机制来实现，而4，5，6是采用挖掘数据库日志的方式实现的。因此，后面3中方式在性能上会更好些。 第三方提供的数据同步方案： 主要根据实现机制分为两大类： 1，采用挖掘数据库日志的方式实现 市场上用的比较多的，如Quest SharePlex, DSG RealSync 。此类软件与Oracle 新收购的GoldenGate 工具类似。 2，采用相关软件在存储级进行复制 IBM,EMC等存储厂商可以实现，使用第三方存储管理软件，如Veritas Replication也可实现。此类方式应用场景与上面6类似。

Oracle 数据库启动过程各步骤详解

Oracle 数据库启动过程各步骤详解 Oracle数据库的完整启动过程包含以下3个步骤：简单地说，就是：启动实例-->加载数据库-->打开数据库.------------------------------------------------------------------------------------------------------------------ 1.创建并启动与数据库对应的实例。在启动实例时，将为实例创建一系列后台进程和服务进程，并且在内存中创建SGA 区等内存结构。在实例启动的过程中只会使用到初始化参数文件，数据库是否存在对实例的启动没有影响。如果初化参数设置有误，实例将无法启动。 2.为实例加载数据库。加载数据库时实例将打开数据库的控制文件，从控制文件中获取数据库名称、数据文件的位置和名称等有关数据库物理结构的信息，为打开数据库做好准备。如果控制文件损坏，则实例将无法加载数据库。在加载数据库阶段，实例并不会打开数据库的物理文件----数据文件和重做日志文件。 3.将数据库设置为打开状态。打开数据库时，实例将打开所有处于联机状态的数据文件和重做日志文件。控制文件中的任何一个数据文件或重做日志文件无法正常打开，数据库都将返回错误信息，这时需要进行数据库恢复。只有将数据库设置为打开状态后，数据库才处于正常状态，这时普通用户才能够访问数据库。在很多情况下，启动数据库时并不是直接完成上述

3个步骤，而是逐步完成的，然后执行必要的管理操作，最后才使数据库进入正常运行状态。所以，才有了各种不同的启动模式用于不同的数据库维护操作。 ============================================== ===============================Oracle 数据库启动与关闭各种方式详解整理 前言： 首先要知道，Oracle数据库的完整启动过程是分步骤完成的，包含以下3个步骤：启动实例-->加载数据库-->打开数据库详解看这里： https://www.sodocs.net/doc/b12567023.html,/lutinghuan/article/details/7484103因为Oracle数据库启动过程中不同的阶段可以对数据库进行不同的维护操作，对应我们不同的需求，所以就需不同的模式启动数据库。 小白：在启动实例之前，需要先启动SQL*Plus，并以一个用户身份连接到Oracle。启动模式详解1.NoMount 模式（启动实例不加载数据库）命令：startup nomount 讲解：这种启动模式只会创建实例，并不加载数据库，Oracle 仅为实例创建各种内存结构和服务进程，不会打开任何数据文件。在NoMount模式下，只能访问那些与SGA区相关的数据字典视图，包括V$PARAMETER、V$SGA、V$PROCESS 和V$SESSION等，这些视图中的信息都是从SGA区中获

Oracle数据库之间数据同步

Oracle数据库之间数据同步 项目中开发库与测试数据库分离，其中某些系统表数据与基础资料数据经常需要进行同步，为方便完成指定数据表的同步操作，可以采用dblink结合dbjob方法完成，简单方便。 操作环境：此Oracle数据库服务器ip为ip1,有dbcenter与dbbranch两个库，一般需要将dbcenter的表数据同步到dbbranch，dbcenter为源库，dbbranch为目标库，具体步骤如下： 1.在源库创建到目标库的dblink create public database link dbcenter connect to username identified by userpassword using ' (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = ip1)(PORT = 1521)) ) (CONNECT_DATA = (SERVICE_NAME = orcl) ) ) ' ; 在创建dblink时，要注意，有时候可能会报用户名和密码错误，但实际上我们所输入的账户信息是正确的，此时就注意将密码的大小写按服务器上所设置的输入，并在账号密码前号加上双引号(服务器版本不同造成的)。 2.成功后验证dblink select sysdate from dual@dbcenter; 3.建立存储过程获取数据 create or replace procedure job_sync() is begin Select * from test@dbcenter; end job_sync; 4.为方便每次需要同步时自动完成同步工作，采用oraclejobs完成定时工作:

Oracle 数据库 常用命令

SPOOL将屏幕所有的输出输出到指定文件 -- spool 文件路径名; spool g:\mysql.sql; --业务操作 --结束输出 spool off; 执行一个SQL脚本文件 我们可以将多条sql语句保存在一个文本文件中，这样当要执行这个文件中的所有的sql语句时，用上面的任一命令即可，这类似于dos中的批处理。 --start file_name -- @ file_name start g:\mysql.sql; @ g:\mysql.sql; 对当前的输入进行编辑 edit ed 重新运行上一次运行的sql语句 / 显示一个表的结构 desc table_name ; 清屏 clear screen; 退出 exit; 置当前session是否对修改的数据进行自动提交 --SET AUTO[COMMIT] {ON|OFF|IMM[EDIATE]| n} set autocommit on; 在用start命令执行一个sql脚本时，是否显示脚本中正在执行的SQL语句 -- SET ECHO {ON|OFF}; set echo on; 是否显示当前sql语句查询或修改的行数 --SET FEED[BACK] {6|n|ON|OFF}

-- 默认只有结果大于6行时才显示结果的行数。如果set feedback 1 ，则不管查询到多少行都返回。当为off 时，一律不显示查询的行数 set feedback 1; 是否显示列标题 --当set heading off 时，在每页的上面不显示列标题，而是以空白行代替 --SET HEA[DING] {ON|OFF} set heading on; 设置一行可以容纳的字符数 -- 如果一行的输出内容大于设置的一行可容纳的字符数，则折行显示 --SET LIN[ESIZE] {80|n} set linesize 100; 设置页与页之间的分隔 -- SET NEWP[AGE] {1|n|NONE} --当set newpage 0 时，会在每页的开头有一个小的黑方框。 --当set newpage n 时，会在页和页之间隔着n个空行。 --当set newpage none 时，会在页和页之间没有任何间隔 set newpage 1; 设置一页有多少行数 --如果设为0，则所有的输出内容为一页并且不显示列标题 --SET PAGES[IZE] {24|n} set pagesize 20; 是否显示用DBMS_OUTPUT.PUT_LINE包进行输出的信息。 --SET SERVEROUT[PUT] {ON|OFF} set serveroutput on; 是否在屏幕上显示输出的内容，主要用与SPOOL结合使用。 --在用spool命令将一个大表中的内容输出到一个文件中时，将内容输出在屏幕上会耗费大量的时间，--设置set termspool off后，则输出的内容只会保存在输出文件中，不会显示在屏幕上，极大的提高了spool的速度 --SET TERM[OUT] {ON|OFF} set termout off; 在dos里连接oracle数据库 CONNECT user_name/passwd@l_jiayou