基于SQL-Loader的海量数据装载方案优化

文章编号：１００７—１４４Ｘ（２０１０）０５—０７０７—０３文献标

基于ＳＱＬ冰Ｌｏａｄｅｒ的海量数据装载方案优化

秦峰巍，胡家宝，崔龙卫

（武汉理工大学计算机科学与技术学院，湖北武汉４３００６３）

摘要：ＳＱＬ＊Ｌｏａｄｅｒ是Ｏｒａｃｌｅ数据库提供的一种将外部数据文件中的数据装载到数据库表中的数据装载具。介绍了ＳＱＬ。Ｌｏａｄｅｒ的工作机制、组件和装载方式，并通过对常用数据装载方案的分析，提出了一种数装载改进方案。最后通过实际测试证明了该改进方案的优势。

关键词：Ｏｒａｃｌｅ数据库；ＳＱＬ％Ｌｏａｄｅｒ；数据装载；分区交换

中图分类号：ＴＰ３１１．１３８ＤＯＩ：１０．３９６３／ｊ．ｉｓｓｎ．１００７—１４４Ｘ．２０１０．０５．

随着信息化的不断推进，日常生活中需要处理

的信息也在大量增加，如在移动通信、银行业务和

网络监控等领域。这些业务实时产生的数据量非

常大，如果在应用程序中采用ＳＱＬ语句插入方式

装载数据，将会耗费大量的时间，且不能保证数据

的实时性和系统的稳定性。因此，在开发具有海量

数据的业务系统时，常常采用数据装载工具来进行

海量数据的装载。Ｏｒａｃｌｅ的ＳＱＬ术Ｌｏａｄｅｒ作为这样一种常用的数据装载工具，被应用于大多数系统中。１乞ｏ。笔者主要对常用的数据装载方案进行分析，提出优化改进方案，并进行性能测试。

１ＳＱＬ：ｌ：Ｌｏａｄｅｒ简介

１．１ＳＱＬ术Ｌｏａｄｅｒ的工作机制

ＳＱＬ半Ｌｏａｄｅｒ是Ｏｒａｃｌｅ的一个在操作系统命令下使用的数据装载工具，能够将数据从外部数据文件装载到Ｏｒａｃｌｅ数据库表中。３Ｊ。

ＳＱＬ：｜：Ｌｏａｄｅｒ的工作机制为：从控制文件中读取指令，然后根据指令读取数据，最后将数据存人Ｏｒａｃｌｅ数据库表中。４Ｊ。

整个装载过程为：ｓｑｌｌｄｒ命令一读取控制文件一读取数据文件一根据规则装载数据到数据库。１．２组件

ＳＱＬ术Ｌｏａｄｅｒ的工作组件如图１所示。

ＳＱＬ木Ｌｏａｄｅｒ共包括６个组件：控制文件和数据文件是输入部分；ＯｒａｃｌｅＲＤＢＭＳ、日志文件、坏的文件和废弃文件是输出部分，其中Ｅｔ志文件、坏的文件和废弃文件记录了ＳＱＬ牢Ｌｏａｄｅｒ相关的

图１ＳＱＬ￥Ｌｏａｄｅｒ组件

过程信息Ｍｏ。

１．３装载方式

ＳＱＬ术Ｌｏａｄｅｒ提供了两种数据装载方规路径装载和直接路径装载。常规路径装认的装载方式，这种方式需要格式化ＳＱＬ

语句以及搜索ＳＧＡ内存高速缓冲区的额外直接路径装载则是在内存中根据字段的特整个数据块并将数据块直接写入数据库的件中。常规路径装载具有直接路径装载不一些额外步骤，这增加了系统处理的额外开得常规路径装载的速度慢于直接路径装载。

２ＳＱＬ：ｌ：Ｌｏａｄｅｒ的实际应用

由于Ｏｒａｃｌｅ数据库能更好地支持Ｌｉｎ系统，因此笔者主要对基于Ｌｉｎｕｘ的ＳＱＬ术应用进行分析。

２．１常用的数据装载方案

２．１．１控制文件的生成

控制文件是完成数据文件内容的解释

收稿日期：２０１０—０４—１２．

作者简介：秦峰巍（１９８６一），男，河南平舆人，武汉理工大学计算机科学与技术学院硕士研究生万方数据