数据仓库项目建设中的重点问题

数据仓库项目中遇到的技术以及管理问题

项目管理问题整理

1．企业经历过两次失败的数据仓库建设，现在是第三次，人们普遍认为这次也将会失败。项目经理应该作些什么来消除人们对数据仓库的消极看法？

2．企业的业务系统方，即OLTP方的工作人员对数据仓库方不配合，比如对数据仓库的源数据申请置之不理。项目经理应该如何来应付这种情况？

3．企业的管理层变动较频繁，支持数据仓库的企业领导可能会离开，面对这种情况，项目经理应该如何应付？

4．企业雇佣一家咨询公司来实现一个数据仓库，但是企业的CIO认为数据仓库的建设是对其职位和权威的挑战，不断给咨询人员和项目设置障碍。咨询人员应该如何来应付这种情况？

5．企业管理层希望试验系统（原型系统）具有和生产系统相同级别的数据质量。项目经理应该如何做，才能让管理层相信，试验系统不必和生产系统具有相同级别的数据质量？

6．用户部门领导对共享数据不配合或者只在表面上配合。他们希望能够控制谁能查看什么数据以及什么时候可以查看。数据仓库团队怎样才能让部门领导把数据的访问权共享出来？

7．建立好的数据几乎满足所有的成功标准。但是企业的高级管理层对数据仓库的反应很冷淡。数据仓库团队应该如何应付这种情况？

项目需求问题整理

1．数据仓库项目已经开发了6个月的时间，在项目的开发过程中，数据仓库团队发现业务源系统正在被重写，业务系统在不断的变化，一个新的系统开发出来预计只有8个月的寿命。数据仓库团队应该如何应付这种情况？

2．源系统和数据仓库系统同期建设。但是源系统在不断的变化中，而且源系统的开发团队没有将变化告知数据仓库团队，数据仓库团队在测试过程中出现故障才发现这些变化。这种没有告知有可能是故意的。数据仓库团队应该如何来应付这种情况？

3．数据仓库项目开始时，企业制定了一套有效的数据仓库目标。但是，随着时间的流逝，企业又制定了一些决策，采取了一些行动，这些决策和行动与最初的目标背道而驰。数据仓库团队应该如何应付这种情况?

4．数据仓库项目进展十分顺利，但是根本没有办法判断项目将来是否能够成功。要想为数据仓库确立一个完全合适的目标是不可能的。企业应该如何来面对这种状况？

5．数据仓库团队用极少的精力来清洗数据，研制了一个可以使用的数据库设计，作为一个数据仓库的测试原型。管理层对原型很满意，要将原型向所有的用户去展示。数据仓库团队要如何做才能让管理层相信这个原型不是为生产准备的？

6．数据仓库经理已经实现了3个数据集市，但是还没有能让管理层相信这些努力是成功的。数据仓库经理应该作些什么来证明数据集市是成功的？

数据仓库成本论证与预算

1．企业有“禁止解雇”政策，管理层对工作效率的提高和成本的节约不是很关心。项目经理该如何对数据仓库及其相关工具的成本进行论证？

2．企业高级管理层成立了一个委员会，希望委员会能论证用于数据仓库及其工具的任何支出都是合理的。但是委员会只能从软收益来论证，企业该如何来处理这种情况？

3．大型零售企业的信息总监认为本企业需要一个数据仓库，但是企业的财务总监对建立数据仓库持怀疑态度，要信息总监陈述为什么应该把钱花到这样一种奢侈的尝试上。信息总监应该如何来做？

4．数据仓库项目的首任官员承担了数据仓库基础设施的全部成本。现在，企业的其他部门也在使用数据仓库，但是他们不希望为基础设施付出代价。首任主管官员应该如何来做，如何来分摊这些成本？

5．用户要求保存10年的历史数据。这需要更多的硬件，以及对更多的对源系统的代码修改。数据仓库团队如何才能论证对这些进行收费是合理的？

6．没有亲眼看到，企业不愿给数据仓库投资。企业的信息总监认为企业需要一个数据仓库，想开发一个原型来引起企业的兴趣。信息总监应该如何来处理原型需要的费用？

组织与职员配备问题整理

1．数据仓库经理认为自己的团队应该对CIO负责，但是，一个强有力的应用软件开发经理认为数据仓库的最终目的是要交付用户使用，数据仓库团队应该向他负责。数据仓库经理应该向谁负责？应该如何来应付这种局面？

2．一家公司采用矩阵管理方式。项目经理手下没有专职的DBA，只能依靠DBA经理在需要时提供DBA。但是在需要DBA时，DBA未必总有空闲的。项目经理正要开始另一个项目，她应该作些什么？

3．企业有一项轮换经理的政策，启动数据仓库项目的业务主管重新分配了工作，新上任的主管对该项目不熟悉，对什么东西是重要的有不同的看法，这将导致项目范围的变化。面对这种局面，项目经理应该做些什么？

4．企业销售部门的工作人员希望能建立一个数据集市，并已向IT部门提出要求。但这项要求排在IT部门优先级清单上很低的位置。销售部门也不能依靠自己的力量建立数据集市，销售部门经理应该如何应付这种局面？

5．一家企业指定了一名数据仓库经理，让他管理、开发一个跨多个部门的数据仓库。但这名数据仓库经理几乎没有任何专职的工作人员，只能从各个部门抽调业务和技术人员。这些人的时间不能得到保证，常常在需要的时候找不到人，使数据仓库的建设不断向后推迟。这名数据仓库经理应该如何应对这种局面？

6．项目经理向数据仓库经理负责。该项目经理来自企业的IT方，但是不太受企业员工的喜欢和尊重，他们常常不回答项目的经理的电话和电子邮件。数据仓库经理应该如何应对这种局面？

7．企业已经拨出足够的资金来开发一个特定的项目。该项目极需要从业务分析师到数据库管理员的每一样资源。但是，这个行业一直受人轻视，没有人愿意来这工作。招聘代理一直在招人，但是毫无用处。这家企业应该如何应付这种局面？

8．企业不具有建设数据仓库的各种条件，技能有限、人员不足、动机缺乏、行政斗争、还有一名准备退休而不想承担任何风险的CIO。刚刚接受任命的数据仓库经理应该如何应对这种局面？

1．企业内各业务部门的系统之间不是集成的，那些业务主管想让他们的数据进入数据仓库中，而且他们都想马上就能实现。而数据仓库经理只能逐个的满足他们的要求，要避免引起业务主管的愤怒，也要避免他们开发自己的数据仓库，数据仓库经理应该如何来处理这种局面？

2．企业的IT部门雇佣了一名咨询人员来开发一个数据仓库，但是该企业的业务部门不支持这个项目。IT部门告诉这名咨询人员继续工作，即使业务部门计划赶他走。这名咨询人员应该如何来应付这种局面？

3．IT部门开发了一个WEB应用程序。但是用户没有意识到这种实现方式的优点。他们期望系统能向桌面程序一样快，并且容易使用。用户也没有兴趣参加系统开发和测试。项目经理应该如何来应付这种局面？

4．IT部门建立好了一个数据仓库，但是用户感觉多维分析工具使用起来太复杂。他们没有认识到多维分析的优点，也不想参加培训。数据仓库经理应该如何来应付这种局面？

5．用户相信建好的数据仓库中的数据将是完整、精确而又是非常及时的。他们很相信这一点，因为没有人明确指出任何相反的事情。数据仓库经理应该如何做才能将用户的期望值恢复到他们将要得到的现实中来呢？

6．一个企业正准备建立一个数据仓库，但是让用户清楚的说出他们需要什么非常困难。数据仓库经理应该如何应付这种局面？

1．企业IT部门一个非常聪明、工作努力的人极想从他喜爱的供应商那里获得一个β版本，用于数据仓库的实现。如果他不能得偿所愿，他要么离开，要么不再支持这个项目。项目经理应该如何来应付这种局面？

2．管理层给项目经理一个这样的团队，其中的成员既无技能、也无热情，是其他项目经理不想留在自己团队中的人员。面对这种局面，项目经理应该如何应付？

3．管理层希望数据仓库团队中的每个人都相处融洽，但是有一两个成员与项目经理或其他成员意见不一致也是经常有的事情。如果这种意见不一致已经严重耽搁了项目的决策和进展，使项目出于流产的危险中，那么管理层应该如何来应付这种局面。

4．一个项目经理亲手挑选了所有的项目成员，这些成员都是以前项目中的明星成员，习惯于指手画脚，他们以前的经理也习惯于不经协商的接受这些明星成员的建议。现在，这些明星成员的意见是如此的不合，以至于毫无工作效率。项目经理应该如何应付这种局面？

5．项目成员为了面子，不把他们工作进展的真实状况反映给项目经理，这也导致了项目组中其他成员进度的延误。项目经理无法准确的得到项目的状态。项目经理怎样才能说服团队成员应该准确的反映他们工作的进展状况呢？

6．企业的数据仓库是在几年前建成的，现在已不能满足企业的需要。一家大型咨询公司已经让管理层相信，他们可以解决数据仓库的所有问题。面对这种局面，企业的CIO应该如何来应付？

7．新上任的CIO来自一家大型咨询机构，并带来了3个副手，这三个副手担任IT部门的重要职务。一个项目经理来负责企业的数据仓库项目，需要和这些咨询人员打交道。这

些咨询人员对项目有过度的权力和影响，严重损害了项目经理的观点和地位。帐单越积越多，项目要超出预算。项目经理应该如何应付这种局面？

8．一个数据仓库在3年前建成，该系统的开发商无一人留下，技术资料残缺不全，并已过时，数据脏乱，对数据的完整性没有控制。用户对这个数据仓库系统极不满意。一名新的数据仓库经理被授权负责企业内所有数据仓库的职责。这名数据仓库经理应该怎么应对这种局面？

9．一家企业的高级管理层聘请一名咨询人员来帮助开发数据仓库的第一部分的实现，然后让接受这名咨询人员培训的内部职员继续进行后续的实现。这名咨询人员已经向该客户保证知识传授是任务的一部分。但是由于时间变得非常紧迫，这名咨询人员没有时间将他的知识传授给该公司的雇员。这些被分派来做琐碎事情的雇员，对这个数据仓库第一部分的实现了解极少。企业的高级管理层怎么才能保证知识传授能如期进行呢？

10．一个数据仓库经理接受了构建一个数据仓库的任务。他拥有购买工具、雇佣咨询人员和承包商的决策权和预算（不是很多）。这名数据仓库经理应该如何来雇佣咨询人员？应该如何来安排他们的工作及时间？应该怎样最充分的使用咨询人员和承包商呢？

11．一家企业的高级管理人员正在规划具有特殊意义的客户关系管理系统。目前，这家公司建立数据仓库的能力较弱，正在考虑将部分或者全部的数据仓库工作外包给应用服务提供商。企业是否应该把数据仓库项目外包出去？如果外包的话，如何保证外包机构最终能实现他们所需要的各种功能呢？

项目规划与进度安排

1．企业高管层不了解数据仓库项目为什么会花费那么多的时间。他们认为目前的计划和工作量经过了夸张，所以他们要求能有更具体化的依据来支持评估的工作量。项目经理应该如何应付这种情况。

2．IT团队曾多次错过完成期限而得到了较坏的名声。这次，项目经理向老板承诺了一个不切实际的最终期限。高管层也向项目经理明确宣布，他在公司的声誉及饭碗就取决于该时间表。项目经理该如何应对这种局面。

3．项目经理制订了一份项目计划，并为不测事件预留了20％的额外时间和预算。但是，业务主管及其部门内的其他人都提出了一些额外功能，并告诉项目经理他们不想修改时间进度表。事实上，20％的额外时间和预算已远远不够，项目经理该如何应付这种情况。

4．用户担心如果他们在第一个版本中没有要求所有的东西，他们就会永远也得不到这些功能，所以他们要求在第一个数据仓库的交付中，所有的功能都要一起实现。面对这种局面，项目经理应该如何做才能让用户相信这样做只会使项目失败或交付时间大量延长。

5．一个项目经理有数十年的经验，有本行业的丰富经历。他是一个永远的乐观者，他相信一切都会进展顺利，不会出现延迟。他以自己来做工作为样板制订了整个项目的计划时间表。这种情况下，这名项目经理应该怎么来做。

数据仓库标准

1．一家企业要建设一个数据仓库，但是这家企业的工作人员没有数据仓库的使用经验，对数据仓库建设方法学也一无所知。数据仓库项目经理应该如何做，才能让用户相信在一个数据仓库项目中使用一种方法学是必要的呢？

2．一家银行为它的业务数据库环境制订了非常严格的数据库管理标准。这些DBA强调，必须要像设计和管理OLTP环境一样管理这个数据仓库环境。数据仓库经理怎样做，才能使这些DBA认识到这个标准不适合数据仓库环境，需要对该标准进行修改呢？

3．一家企业的雇员在过去的5年内一直在滥用数据仓库的名词，他们把“独立的数据集市”称为“数据仓库”，他们把“遗留的业务系统”称为“操作数据存储”。他们正计划将所有的操作型系统和分析型系统整合成一个共享数据库。数据仓库经理怎样做，才能让企业用户相信OLAP的查询和OLTP的查询放在一起是不适合的？

4．一家企业的雇员酷爱术语“数据挖掘”，并用它来描述所有类型的决策支持活动。现在这家企业正在考虑建立的内容是真正意义上的数据挖掘，但向一个深信已经拥有数据挖掘的组织来证明这一点是很困难的。数据仓库项目经理要如何对这家企业进行数据挖掘的教育和宣传呢？

5．一家跨国企业的高级主管正试图建立一个综合的商业智能环境。他们需要处理各种需求、预算问题、语言翻译、国家法律的多样性、分布式与集中式等各种问题。面对这种局面，数据仓库设计师应该如何来考虑？这样的一份计划能否实现？

工具与供应商

1．一个非盈利性企业正准备建立一个数据仓库，来跟踪他们全体成员的活动。这样一个大的项目需要一个需求建议书，其中会有筛选供应商的资料等内容。但是，企业的高级管理人员不希望这个需求建议书影响他们的进度。面对这种局面，企业应该采取什么样的对策？

2．一家企业的数据仓库建好之后，发现经过培训的用户只有5％的人经常使用。而没有使用的人员对查询和报表制作工具不满意，因此不使用数据仓库。面对这种局面，企业应该如何处理？

3．一家企业在一个面向对象的环境中开发了他们所有的应用软件。由于那些实现是成功的，所以这家企业中几乎每个人都相信，面向对象的开发方法可以开发所以系统，包括数据仓库。这种做法适合数据仓库吗？

4．一家企业的工具选择委员会有选择数据仓库工具的权利。但是，企业IT部门内一些有权势的人有自己的选择倾向，并抵制不同的选择。工具选择委员会应该如何来应付这种局面？

5．一家企业数据仓库经理预计，他们的数据仓库在两年内的数据量会变得非常大。他喜欢使用一个ETL工具，但是又比较担心这个工具在数据量非常大时的性能。这个工具非常贵，他不想投资后将来再遗弃这个工具。面对这种局面，数据仓库经理应该如何处理？

6．一家数据仓库供应商有一套数据仓库产品，其中有些产品是非常出色的，有些产品是低于标准的次质产品。该供应商的业务代表正在推销整套产品，他们明确的表示，要想获得定级支持服务就必须要购买整套产品。面对这种局面，这家企业应该如何处理？

7．一家企业完成了软件评估的过程，并深思熟虑的选择了一个供应商和工具。失败的供应商不明白怎么会得到一个“不”的回答。他们上诉到高一级的管理层，请他们重新考虑这项建议。面对这种局面，评估团队应该采取什么对策？

8．一家企业对他们正在使用的查询工具非常满意。但是工具的供应商陷入了财政危机，并被出售。收购公司解雇了大多数开发人员和支持人员。现在的支持服务非常糟糕，而且根

据收购公司的声誉，预计支持服务也不会有明显改进。面对这种局面，这家公司应该如何处理？

安全

1．一个企业建立了一个数据仓库系统，用来分析企业的部门及产品相关盈利能力。数据仓库实现不久，项目经理被CFO叫到办公室，被要求解释为什么一位职位低下的金融分析师能够在数据仓库中查看详细的工资记录，这些数据在公司中只有副总裁才可以访问。显然，这个数据仓库中没有建立安全计划。面对这种局面，这家企业怎么才能扭转这种局面呢？

2．一位数据仓库咨询人员告诉一家企业，他们必须考虑数据仓库内的安全问题，并应该将这个角色分派给一位职员，由他来负责这件事情。这家企业有多台服务器，服务器上是使用了多种操作系统和多种数据库管理系统。但是接受这件任务的职员不清楚这个角色应该作些什么。他对这项工作的有多大，如何面对安全问题，以及他要面临的问题都没有概念。面对这种局面，他应该如何在完成这份工作？

3．一家企业已经意识到了数据仓库的安全问题的重要性，并配备了专门的职员做这件事。这位职员以前是数据分析师，几乎没有安全事务方面的基础知识。这位职员应该如何开始工作呢？他在数据仓库团队中的角色和权力应该是什么呢?

数据质量

1．一个数据质量分析师正在试图分析一个数据仓库之中数据的质量状况。这个数据仓库的数据量非常的大，数据质量分析师准备用抽样的方式进行分析。但是他不知道需要抽样多少数据，如何抽样，以及如何向用户解释抽样分析的结果是准确的。这位数据质量分析师应该如何来进行工作呢？

2．一个电信公司有一个含有14TB数据的数据仓库。这家公司估计到，该数据中有10TB以上的数据可能是冗余的。这家公司没有命名约束，其中只有20％的数据有相关的元数据。面对这种局面，这家公司应该如何来识别和消灭冗余数据呢？

3．企业管理层没有意识到业务系统中数据是多么的脏乱。这些数据中存在冗余、记录不完备、默认值不正确、有不符合规则的数据存在、参照完整性缺乏等问题。随着数据仓库团队工作的逐步进展，来在项目团队和用户的意见已明确显示出，数据的质量已经不足以让项目继续下去。净化数据需要大量的时间，而这些时间在项目时间表中没有安排。面对这种局面，项目经理应该如何来处理？

4．企业数据仓库的数据质量非常差，净化的过程将是高代价的。管理层没有意识到数据质量的问题，这些业务系统表面上看工作的很好。此外，管理层不愿意花费金钱和资源纠正非常脏乱的数据。面对这种局面，数据仓库团队应该采取什么样的对策来让管理层相信需要净化他们的数据呢？

5．一名没有经验的数据仓库设计师坚决主张，只有100％正确的数据才能进入数据仓库。他开发了一个复杂的临时存储区，用来存储、检查、改正和重新处理错误的源数据。这个临时存储区很快变得非常巨大。由于太多的数据被拒绝进入数据仓库，大部分都是微不足道的错误，业务用户对数据仓库的信任度正在迅速下降。面对这种局面，项目经理应该采取什么样的对策？

6．一家企业的数据仓库系统已经开发完毕，也使用正式数据进行了详细的测试。但是正式上线几个月后，却发现出现了问题，经查实，是从源系统提取数据的FTP脚本出了问题。这个脚本会随机的出现故障，而ETL程序也没有确定出正在处理的数据只是部分数据集。现在数据仓库和源系统已经严重不同步。这个数据仓库团队应该如何才能使数据仓库回到正确的轨道上来呢？

7．一家企业的数据仓库根据源系统记录中的“最后更新”时间戳来从源系统中提取数据。脚本运行了几个月后，运行时间严重超常。经查实，问题出在一个源系统上。一名开发人员正在这个源系统上定期大规模修改数据，以便修改一个还没有在应用代码中得到纠正的错误。这名开发人员大规模修改一次，“最后更新”时间戳就会被全部更新，数据仓库迁移脚本就会一夜之间处理完全部的数据。这个问题应该如何来解决呢？

数据整合

1．一家拥有650个经销商的汽车制造公司，有3个独立的经销管理系统，这650个经销商都有自己的数据库。这家企业应该如何来收集、清理并整合这些数据呢？

2．一家企业为了保证企业内数据的一致性，委任了一名数据管理经理为整个企业创建一个统一的企业数据模型。但是，企业内有两个项目正准备开工，而且两个项目经理都不愿意等企业数据模型的建成。没有企业数据模型的情况下，建立的信息系统很难和企业内的其他系统进行整合。面对这种局面，CIO应该采取什么对策呢？

3．一家企业遇到了数据整合的问题，这个问题看起来是由于企业缺乏一个好的主数据管理策略造成的。这家企业基本上没有对主数据的变更进行控制。目前，企业正准备将数据库建立成分布式的。企业的CIO正在寻找关于集中式与分布式的建议，以及对数据维护策略的建议。你可以提供一些什么样建议？

4．一家客户数据仓库的业务主管想要数据实时更新。实时更新应该得到允许吗？有没有任何更好的替代方案呢？

5．在调查了其他企业的数据仓库实现之后，一家企业决定不能建立烟囱式的数据集市系统。可是，有3个部门强烈要求为它们的部门实现一个数据集市，并要求尽快实现。这家企业应该怎样来避免建设烟囱式的系统呢？

6．一位数据仓库经理负责企业内所有数据仓库建设活动，他意识到，如果来自数据仓库的报表和查询与来自业务系统的报表和查询不相符的话，他将遇到信誉问题。但是，大部分业务数据都是脏乱的，必须得到清理后才能满足分析师的要求。如果他将业务数据进行清理的话，报表结果将会和业务系统的那些结果不一致，数据仓库的有效性会遭到怀疑。面对这种局面，这位数据仓库经理应该采取什么样的措施？

7．给数据仓库提供数据的业务系统的数据问题已经越来越明显了。管理层认为数据仓库建设项目的一部分工作就是纠正业务系统的错误。那么，数据仓库团队应该尝试这项工作吗？数据仓库架构

1．企业的数据仓库已经从50GB增长到了1TB。它最初仅有50个用户，而现在已增长到300个用户。系统的响应慢得吓人，用户怨声载道，DBA在数据仓库的扩展和性能方面遇到的极大的困难。所有的新需求都被置之不理。所有的一切都是由于最初的架构引起的，这个架构只考虑了50G空间和50个用户。而目前架构中的任何变化都将是高代价和破坏性的。面对这种局面，数据仓库设计师应该如何处理？

2．一家企业内有12个“数据仓库”，其实它们都是彼此独立的数据集市。这家企业坚决反对一个中央数据仓库。这12个数据仓库的所有者都希望自己能拥有数据的控制权。此外，这家企业没有命名约定，即使在每个数据仓库之中也是这样。现有的数据有一半以上没有元数据。面对这种情况，这家企业应该如何来集成和清理它的环境呢？

3．一家企业有个不好的习惯，就是有时需要回退事务。这些事务在实际发生后的一个月或者更长时间才进入系统。财务人员认为历史信息不应该改变，但是这家企业的数据仓库根据回退事务改变历史的数据值。这种做法合理吗？回退事务是否应该改变数据仓库中的历史信息呢？

4．一家企业正在设计一个点击流数据仓库，应用软件是CRM。他们正在征求设计这个超大型数据仓库方面的建议。他们应该考虑并行性和数据的划分方式吗？他们应该考虑RDBMS的任何具体特性吗？

5．一家企业有分析数据的历史变化情况的需求。DBA不想在事实表中重复的保存所有的事实，因为他们有大量的事实。他们正在使用OLAP工具自动生成SQL语句，但是他们发现用SQL处理时间变化情况并不是一个好办法。他们应该如何来做呢？

6．一家企业正处于实现一个新业务系统的过程中，并遇到了任何新系统所具有的常见问题。企业的管理层正竭力把一个数据仓库和这个业务系统同时建立，这个业务系统作为数据仓库的数据源。这样的开发方式可行吗？

7．一家企业正在进行数据仓库的开发。他们的策略是先适度的完成一个基于Web的报表制作系统，然后在交付后将另外的报表不断的添加上。但是这项策略彻底失败了，报表制作的需求像气球一样膨胀。目前数据仓库完全变成了一个报表制作系统。数据仓库团队应该如何来处理这种情况？

8．一家企业正处于指定一个数据仓库策略的论证阶段。软件选择委员会已经选定了许多来自不同开发商的产品。他们认为，元数据对他们的成功是至关重要的，但是他们同时也担心从多个源系统和开发商的产品集成元数据的能力。在多个源系统和开发商的产品之间管理一个统一的元数据是可能的吗？

9．一个零售商正在收集存储器中的销售单据数据。在单据中有诸如一包装有12听可以零售的罐头这样的数据，其中整包与单听有不同的UPC码。也就是说，分析师以单听粒度进行查询的话，他们就不能对整包销售进行分析。那么，数据仓库团队应该如何来处理这些数据呢？

性能

1．一家企业把一个较大的财务、培训和实现责任都托付给一个软件产品。但是这个软件产品目前的性能出现了问题，几乎不能运转了。面对这种局面，这家企业应该做些什么呢？2．一家企业的数据仓库中数据量的增长比它的源系统数据量增长快得多。硬件的成本已经超出了预算，而且眼前没有停止的迹象。管理层很担心，并提出了两个较难回答的问题。这个数据仓库该不该比源系统数据增长得更快？如果不，数据仓库经理能够采用什么样的措施来阻止这种增长？

3．一家企业的数据仓库采用了星形建模的方式来设计。一个事实表的加载时间很快超过了24个小时。该事实表的数据必须每日更新一次。面对这种情况，DBA应该采取什么样的措施呢？

数据仓库建设的几点建议.doc

北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史：在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库：前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区： 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以看到十几张或者几十张报表。领导不满意，项目负责人压力也很大，无法交待。这时，项目经理或者项目负责人才意识到，项目有问题，但是谁也不敢说项目有问题，因为这样显然是自己当时的决策失误。怎么办？寻找咨询公司或者一些大的厂商，答案往往是数据仓库缺乏数据模型，应该考虑数据模型。如果建设时考虑到整个企业的数据模型，就可以建设成企业级的数据仓库（EDW。什么是数据模型，就是满足整 个企业分析要求的所有数据源。结果会如何，我个人认为：这样做企业级数据仓

数据仓库建设方案详细

第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标，结合系统数据业务规，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容： 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume

及传统的ETL采集工具。 数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。 数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分容：外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:

建设数据仓库7个步骤

成功实施数据仓库项目的七个步骤 建立一个数据仓库并不是一个简单的任务，不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术，因此，一个成功的数据仓库实施需要这两方面的不断协调，以均衡其所有的需要，要求，任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法，这些数据库包括交易数据库，数据仓库，和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取，转换和加载(ETL )过程中，所以我会集中在这些领域讨论我的方法。然而，您可以将这些方法扩展到整个栈--OLAP立方体和如报告，特征分析(ad-hoc analysis)，记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作，相反，我写的这些是为那些数据库管理员和开发者，他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员，他们被突然要求：“建立一个数据仓库“，并且需要自己扮演项目经理的角色。我的讨论不会是完整的，但我希望这会给您足够的信息来让您的项目球滚起来。 如图1所示，数据仓库项目有3个轨道(tracks)：数据轨道，技术轨道和应用层轨道。当您在整理任何数据库项目计划时，我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ，商业决策者( BDMs ) ，和所有其他该数据仓库项目参与者讲解您的计划时，您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源，比如设计，开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法，继续前进吧，您可采用我为我自己的数据库项目开发的7D数据库生

数据仓库建设方案84099

1.数据仓库概述 经过多年IT的建设，信息对于XXX 的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好XXX 内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，XXX 业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏XXX 全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML 、EXCEL 等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX 各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX 业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。

EDW数据仓库项目方案

XX银行 EDW/数据仓库项目方案

目录 第一章系统总体架构................................................................. ５1.1总体架构设计概述............................................................... ５ 1.1.1总体架构的设计框架 ..................................................... ５ 1.1.2总体架构的设计原则 ..................................................... ６ 1.1.3总体架构的设计特点 ..................................................... ７1.2EDW执行架构.................................................................... ７ 1.2.1执行架构概述............................................................... ８ 1.2.2执行架构设计原则 ........................................................ ８ 1.2.3执行架构框架............................................................... ９1.3EDW逻辑架构................................................................. １８ 1.3.1逻辑架构框架............................................................ １８ 1.3.2数据处理流程............................................................ ２７1.4EDW运维架构................................................................. ２８ 1.4.1运维架构概述............................................................ ２８ 1.4.2运维架构的逻辑框架 .................................................. ３０1.5EDW数据架构................................................................. ３６ 1.5.1数据架构设计原则 ..................................................... ３６

数据仓库建设步骤

数据仓库建设步骤 1.系统分析，确定主题 确定一下几个因素： 操作出现的频率，即业务部门每隔多长时间做一次查询分析。 在系统中需要保存多久的数据，是一年、两年还是五年、十年 用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 用户所能接受的响应时间是多长、是几秒钟，还是几小时。 2.选择满足数据仓库系统要求的软件平台 选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： 厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 数据库对大数据量（TB级）的支持能力。 数据库是否支持并行操作。 能否提供数据仓库的建模工具，是否支持对元数据的管理。 能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： 1)确定建立数据仓库逻辑模型的基本方法。 2)基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 3)识别主题之间的关系。 4)分解多对多的关系。 5)用范式理论检验逻辑数据模型。 6)由用户审核逻辑数据模型。 4.逻辑数据模型转化为数据仓库数据模型 具体步骤如下： 1)删除非战略性数据：数据仓库模型中不需要包含逻辑数据模型中的全部数据项，某些用于操作 处理的数据项要删除。 2)增加时间主键：数据仓库中的数据一定是时间的快照，因此必须增加时间主键。 3)增加派生数据：对于用户经常需要分析的数据，或者为了提高性能，可以增加派生数据。

4)加入不同级别粒度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。 粒度是数据仓库设计的一个重要因素，它直接影响到驻留在数据仓库中的数据量和可以执行的 查询类型。显然，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限。 5.数据仓库数据模型优化 数据仓库设计时，性能是一项主要考虑因素。在数据仓库建成后，也需要经常对其性能进行监控，并随着需求和数据量的变更进行调整。 优化数据仓库设计的主要方法是： 合并不同的数据表。 通过增加汇总表避免数据的动态汇总。 通过冗余字段减少表连接的数量，不要超过3~5个。 用ID代码而不是描述信息作为键值。 对数据表做分区。 6.数据清洗转换和传输 由于业务系统所使用的软硬件平台不同，编码方法不同，业务系统中的数据在加载到数据仓库之前，必须进行数据的清洗和转换，保证数据仓库中数据的一致性。 在设计数据仓库的数据加载方案时，必须考虑以下几项要求： 加载方案必须能够支持访问不同的数据库和文件系统。 数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。 支持各种转换方法，各种转换方法可以构成一个工作流。 支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库。 7.开发数据仓库的分析应用 建立数据仓库的最终目的是为业务部门提供决策支持能力，必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。 信息部门所选择的开发工具必须能够： 满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预 测和趋势分析。 提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。 使用方式上，可以是客户机/服务器方式，也可以是浏览器方式。 事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。 8.数据仓库的管理

数据仓库建设对数据量、硬件、软件的要求

1、不同数据量级别对服务器硬件、软件的要求 （要考虑到数据的双向传输、压力等状况） （我们目前的数量级别是多少？如果考虑到服务明细数据、三年的增量等） 不同数据量级别对服务器硬件、软件的要求：没什么特别要求，只要保证单台数据查询比较快就OK，数据量级别主要是靠横向扩展机器的台数来满足，只要数据是按照最初设计的存储方式来存储，满足我们查询的速度即可； 目前我们数据量单表每天5000左右的量，整个数据库10g左右，未来三年可能是一年2000万的处理量，三年后数据量可能到达上亿条记录，整个数据库35g左右。 2、Oracle数据库对数据量有没有什么限制？ 在Oracle中，数据库是由实例和物理存储结构组成的。而物理存储结构是指存储在磁盘上的物理文件，包括数据文件（data file）、控制文件（control file）、联机重做日志（online redo log）、参数文件（spfile/pfile）、警告日志（alert log）、跟踪文件（trace file）等众多作用不同的文件所组成的。我们最关注的数据，则是保存在数据文件（data file）中。那我们在创建以及维护数据库时，该如何规划数据文件的大小和数量呢？这里面涉及较多的考量因素。主要有如下几点： 2.1操作系统的限制 数据库是运行在操作系统之上的，操作系统是基础，因此，操作系统所能支持的最大文件容量和数量就成为数据库所能支持的限制。但不同操作系统之间，这个限制也是不同的。 以下是较为常见的几种操作系统对此的限制： 2.1.1 WINDOWS 最大数据块：16K 最大文件数量：20000个（数据块2K时）/40000个(数据块4K时）/65536个（数据块为8K或16K时）最大文件容量：4GB（文件系统为FAT时）/ 64GB（文件系统为NTFS时） 2.1.2 UNIX和LINUX 最大数据块：32K (LINUX_X86为16K) 最大文件数量：65534个 2.2O RACLE数据库的限制 每个数据库可管理的最大文件数量：65533个

数据仓库系统建设方案详细

河北省工商银行 数据仓库系统建设方案 建 议 书

北京世纪明日网络科技有限公司 二零零零年三月 河北省工商银行数据仓库系统建设方案 目录 第一章前言 1.1数据仓库发展史 1.2竞争日趋激烈的金融市场 1.3中国专业银行面临的挑战 1.4中国专业银行实施数据仓库的意义 1.5中国专业银行实施数据仓库已具备的条件 第二章数据仓库总体概述 2.1 数据仓库基础 2.2 数据仓库技术概述 2.3 一个可扩展数据仓库的基本框架

2.4 一个数据仓库实施流程 第三章系统体系结构设计 3.1系统设计指导思想 3.2 方案总体框架图 3.3 系统体系结构设计 3.4 系统方案的组成 第四章银行数据仓库的建设 4.1 面向应用的OLTP系统和面向主题的OLAP系统 4.2 个性化服务的定义 4.3 业务探索/业务发掘 4.4 建立市场客户信息基础 4.5 利用数据仓库实现的基本模块 4.6 更高层次的开发应用 4.7 综合信息发布 第五章方案实施建议 5.1 开发模式 5.2 组织机构 5.3 项目实施进程

5.4 项目进度计划 第六章产品报价 6.1 软件产品报价 6.2 硬件产品报价 6.3 项目开发实施费用 第一章前言 1.1 数据仓库发展史 相对于许多行业而言，信息处理技术还是一门新兴的技术，但是其发展速度却几乎是最快的。随着计算机硬件技术的飞速发展，软件技术也是日新月异。 许多企业和机构已经建立了相对完善的OLTP（联机事物处理）系统。随着时间的推移，这些系统中积累了大量的历史数据，其中蕴含了许多重要的信息。通过对这些历史数据的分析和综合处理，可以找到那些对企业发展至关重要的业务信息，从而帮助有关主管和业务部门作出更加合理的决策。70年代中期出现的MIS（管理信息系统）实际上就是在这种背景下产生的。 但MIS具有极大的局限性。首先，它是按预先定义好的流程对数

建设数据仓库的八个步骤

大数据技术部 建设数据仓库的八个步骤2017年04月25日编制

建设数据仓库的八个步骤 摘要：建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题。 关键词：数据仓库元数据 建设数据仓库 建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤。 1.系统分析，确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求。 业务人员往往会罗列出很多想解决的问题，信息部门的人员应该对这些问题进行分类汇总，确定数据仓库所实现的业务功能。一旦确定问题以后，信息部门的人员还需要确定一下几个因素： ·操作出现的频率，即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据，是一年、两年还是五年、十年。 ·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 ·用户所能接受的响应时间是多长、是几秒钟，还是几小时。 由于双方在理解上的差异，确定问题和了解问题可能是一个需要多次往复的过程，信息部门

的人员可能需要做一些原型演示给业务部门的人员看，以最终确定系统将要实现的功能确实是业务部门所需要的。 2.选择满足数据仓库系统要求的软件平台 在数据仓库所要解决的问题确定后，第二个步骤就是选择合适的软件平台，包括数据库、建模工具、分析工具等。这里有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： ·厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 ·数据库对大数据量（TB级）的支持能力。 ·数据库是否支持并行操作。 ·能否提供数据仓库的建模工具，是否支持对元数据的管理。 ·能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 ·能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： （1）确定建立数据仓库逻辑模型的基本方法。 （2）基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 （3）识别主题之间的关系。 （4）分解多对多的关系。

数据仓库dw建设

1. 数据仓库概述 经过多年IT的建设，信息对于企业的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好企业内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，企业业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏企业全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML、EXCEL等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖企业各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取企业业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。

2. 全域数据库总体架构 核心业务边防一体化其他XML Excel Web 服务消息队列文本数据智能传感器 虚拟传感器摄像头全域数据库总体架构 全域数据库总体的层次，最下面是基础架构层，主要包括支撑这一架构运行的主机系统、存储备份系统、网络系统等内容。从下往上看，再上面是数据源层，既包括各个业务的关系型数据源、内容管理数据源也包括半结构化数据源比如XML 、EXCEL 等，也包括各个总队、支队的业务数据源。 数据源层之上是“交换服务体系”，主要包括信息服务总线和服务总线两部分。信息服务总线主要实现数据层的信息整合和数据转换，而服务总线主要实现应用层的信息交换和整合。信息服务总线主要依托联邦、复制、清洗、转换等技术实现，其主要包括信息整合服务和清洗转换加载服务两部分。通过信息服务总线的信息整合服务（数据联邦、复制），可以透明、实时的访问分布在总队和支队的各个业务系统中的各种同构、异构数据（前提是拥有足够的权限）。信息整合服务在整个企业层面保证

数据仓库建设方案-2018-3-28

数据仓库建设 商务智能（Business Intelligence）用于支持制定业务决策的技能、流程、技术、应用和实践。核心是通过数据提取、整理、分析，最终通过分析结果制定有关策略、规划，帮助企业了解新的趋势、抓住新的市场机会、发现潜在的威胁，达到资源的合理配置，节约成本提高效益。数据仓库是商业智能的基础，它为OLAP、数据挖掘提供分析和决策支持。 一、数据仓库概念 1.数据仓库定义 是一个面向主题的、集成的、相对稳定的、反映有有历史变化的数据集合，用于支持管理决策。具有以下特点： ●详细交易及相关业务数据的集合 ●包含必要的内部与外部信息 ●来自于多个数据源、业务操作系统 ●保存一定的时间周期 ●按照企业内业务规则决定存储模型 2.建设的必要性 目前大多数信息系统由于建设时间、建设方、各阶段需求不同，会出现一系列问题：缺乏整体规则、信息缺乏完整性、缺乏统一的信息管理标准和规范、信息孤岛、不具备大容量的数据管理和分析能力。

3.价值 ●提高管理决策的科学性和管理效率 ●信息的整合，可推动现在有信息管理体系的重构 ●打通信息孤岛全局共享，降低数据获取的难度 ●逐渐取代各类业务管理报表系统 ●运用历史数据发现规律 二、数据仓库建设 1.业务需求定义 梳理出所有业务过程，分析业务内容提取需求，对其相关的数据进行探查，并对各系统核心业务人员访谈，准确的了解业务需求情况，近期调研 2.技术体系结构 生命周期图 技术架构图：

3.数据仓库数据建模 数据模型是抽象描述现实世界的一种方法，是通过抽象的实体及实体之间的联系来表示现实世界中事务的相互关系的一种映射，数据仓库模型是数据模型中针对特定的数据仓库应用系统的特定模型。数据仓库建模方法种类较多，常见的三种是范式建模、维度建模、实体建模，每种方法本质上都是从不同的角度解决业务中的问题。 关于数据仓库建模单独用一篇来详细介绍，这儿仅对维度建模做基本的介绍，维度建模由数据仓库领域另一位大师Ralph Kimall所倡导，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，

数据仓库设计文档模板

数据仓库设计与实现 学号 128302106 姓名江晨婷 成绩 教师张丹平 二O一五年四月

数据仓库建设方案设计与实现 摘要：本文以博士学位调查为基础，创建方案，设计与实现数据仓库，通过对当前各种主流数据仓库软件在性能、价格等方面的对比，充分考虑统计业务、单位数量等实际情况，本系统决定采用SQL Server 2005数据仓库软件来构建综合信息分析系统的数据仓库。 关键词：数据仓库；联机分析；数据挖掘；博士学位 一、概述 数据仓库的设计一般从操作型数据开始，通常需要经过以下几个处理过程；数据仓库设计——数据抽取——数据管理。 1.数据仓库设计 根据决策主题设计数据仓库结构，一般采用星型和雪花模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。 2.数据抽取 根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换、对数据进行重新组织和加工，装载到数据仓库的目标库中。 3.数据管理 数据管理分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据为所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。元数据是数据仓库的组成部分，元数据的质量决定整个数据仓库的质量。当数据源的运行环境、结构及目标数据的维护计划发生变化时，需要修改元数据。 二、博士学位授予信息年度数据统计分析 1.按主管部门统计 从主管部门的角度，分析在一个时间段（年）内，各主管部门所授予的博士学位信息统计。可回答如“2008，由某部门主管的，博士学位授予一共有多少，其平均学习年限是多少，脱产学习的有多少人?”等问题。具有表格和图形两种方式来展示分析结果。典型报表格式如表1所示

数据仓库技术制定方案

数据仓库制定方案 在当下的数据仓库系统安全控制模块中，我国数据仓库安全分为不同的等级。总体来说，我国的数据仓库安全性是比较低。为更好的健全计算机数据仓库体系，进行数据仓库安全体系的研究是必要的。很多软件都是因为其比较缺乏安全性而得不到较大范围的应用，归根结底是数据仓库安全性级别比较低。为满足现阶段数据仓库安全工作的需要，有利于数据仓库保密性的控制，保证这些数据存储与调用的一致性。 当前数据仓库安全控制过程中，首先需要对这些数据进行可用性的分析，从而有利于避免数据仓库遭到破坏，更有利于进行数据仓库的损坏控制及其修复。其次为了保证数据仓库的安全性、效益性，也离不开对数据仓库整体安全性方案的应用。最后必须对数据仓库进行的一切操作进行跟踪记录，以实现对修改和访问数据仓库的用户进行追踪，从而方便追查并防止非法用户对数据仓库进行操作。 2.1数据仓库安全整体规划 本方案通过对电力行业敏感信息泄露安全威胁的分析，对数据仓库安全进行整体设计与规划，通过全系列数据仓库安全产品相互之间分工协作，共同形成整体的防护体系，覆盖了数据仓库安全防护的事前诊断、事中控制和事后分析。 制定严密可行的实施计划，整个工程严格按照计划进行；公司质量控制部利用ISO9000质量管理规范对工程的软件开发及实施全过程进行监督和控制；建立完善的软件开发和工程实施的文档体系。对程序进行测试，对各个模块之间的关联情况下可能出现的问题进行严密的测试，并不断完善在测试过程中暴露出来的问题。在这过程中质量控制小组将全程参与，确保软件质量。 需求调研是数据仓库开发的最重要的环节之一，在调研的过程中能否真实、准确地描述客户的需求，对于数据仓库的开发有着举足轻重的影响。与客户沟通不够导致对同一个事物的描述或者理解有分歧和差异，或者调研过程中流于表面文字，而没有进入实际的操作，都可能造成在需求调研的过程中造成对需求不精确的理解。失之毫厘，谬之千里，需求调研的微小差异可能会在软件的开发过程中造成较大的偏差，直接影响了工程的建设质量。为此我们为需求调研工作分配了充裕的人力的时间，制定了完善的调研方案，对需求调研的深度和广度做了规

数据仓库的规划构建策略

数据仓库作为决策支持系统（DSS）的基础，具有面向主题的、集成的、不可更新的、随时间不断变化的特性。这些特点说明了数据仓库从数据组织到数据处理，都与原来的数据库有很大的区别，这也就需要在数据仓库系统设计时寻求一个适合于数据仓库设计的方法。在一般的系统开发规划中，首先需要确定系统的功能，这些系统的功能一般是通过对用户的需求分析得到的。从数据仓库的应用角度来看，DSS分析员一般是企业中的中高层管理人员，他们对决策支持的需求不能预先做出规范的说明，只能给设计人员一个抽象地描述。这就需要设计人员在与用户不断的交流沟通中，将系统的需求逐步明确，并加以完善。因此数据仓库的开发规划过程实际上是一个用户和设计人员对其不断了解、熟悉和完善的过程。 数据仓库作为决策支持系统（DSS）的基础，具有面向主题的、集成的、不可更新的、随时间不断变化的特性。这些特点说明了数据仓库从数据组织到数据处理，都与原来的数据库有很大的区别，这也就需要在数据仓库系统设计时寻求一个适合于数据仓库设计的方法。在一般的系统开发规划中，首先需要确定系统的功能，这些系统的功能一般是通过对用户的需求分析得到的。从数据仓库的应用角度来看，DSS分析员一般是企业中的中高层管理人员，他们对决策支持的需求不能预先做出规范的说明，只能给设计人员一个抽象地描述。这就需要设计人员在与用户不断的交流沟通中，将系统的需求逐步明确，并加以完善。因此数据仓库的开发规划过程实际上是一个用户和设计人员对其不断了解、熟悉和完善的过程。 数据仓库的开发应用规划是开发数据仓库的首要任务。只有制定了正确的数据仓库规划，才能使组织主要力量有序地实现数据仓库的开发应用。在数据仓库规划中一般需要经历这样几个过程：选择实现策略、确定数据仓库的开发目标和实现范围、选择数据仓库体系结构、建立商业和项目规划预算。

数据仓库建设方案

第1章数据仓库建设 1.1 数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析,以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标,结合系统数据业务规范,包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的内容: 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Ｋafka、Ｓｔｏｒ

m、Ｆｌumｅ及传统的EＴL采集工具。 数据存储：本系统提供Hｄｆs、Hbase及RDBＭS相结合的存储模式,支持海量数据的分布式存储。 数据分析:数据仓库体系支持传统的ＯＬＡP分析及基于Sparｋ常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2 数据采集 专家系统数据仓库数据采集包括两个部分内容：外部数据汇集、内部各层数据的提取与加载.外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（OＤS）;内部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（ＴCMＳ）、车载子系统等相关子系统，数据采集的内容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求,列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展,因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集,同时系统应该灵活可配置,可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Ｋａfka＋Ｓtorm的组合架构，采用Flume 和ETL工具作为Kａfka的Produｃer,采用Sｔｏrm作为Kafｋa的Consumｅｒ，Stoｒm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:

数据仓库的发展历程简述v0.1

数据仓库发展历程及相关概念 1.1 概述 数据仓库的概念可能比一般人想像的都要早一些，中间也经历比较曲折的过程。其最初的目标是为了实现全企业的集成（Enterprise Integration），但是在发展过程中却退而求其次：建立战术性的数据集市（Data Marts）。到目前为止，还有很多分歧、论争，很多概念模棱两可甚至是彻底的让人迷惑。本文试图从数据仓库的发展历史中看到一些发展的脉络，了解数据仓库应该是怎么样的，并展望一下未来的数据仓库发展方向。 同时，由于新应用的不断出现，出现了很多新的概念和新的应用，这些新的应用如何统一现成完整的企业BI应用方案还存在很多争论。本文试图对这些概念做一些简要的阐述，让大家对此有初步的了解。 1.2 粗略发展过程 1.2.1 开始阶段（1978-1988） 数据仓库最早的概念可以追溯到20世纪70年代MIT的一项研究，该研究致力于开发一种优化的技术架构并提出这些架构的指导性意见。第一次，MIT的研究员将业务系统和分析系统分开，将业务处理和分析处理分成不同的层次，并采用单独的数据存储和完全不同的设计准则。 同时，MIT的研究成果与80年代提出的信息中心（Information Center）相吻合：即把那些新出现的、不可以预测的、但是大量存在的分析型的负载从业务处理系统中剥离出来。但是限于当时的信息处理和数据存储能力，该研究只是确立了一个论点：这两种信息处理的方式差别如此之大，以至于它们只能采用完全不同的架构和设计方法。 之后，在80年代中后期，作为当时技术最先进的公司，DEC已经开始采用分布式网络架构来支持其业务应用，并且DEC公司首先将业务系统移植到其自身的RDBMS产品：RdB。并且，DEC公司从工程部、销售部、财务部以及信息技术部抽调了不同的人员组建了新的小组，

数据仓库建设的几点建议培训资料

数据仓库建设的几点 建议

北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史： 在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库： 前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区： 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以

数据仓库设计与实现

数据仓库的设计与实现

第1章数据仓库的设计与实现 1.1数据仓库设计过程 数据仓库的设计一般从操作型数据开始，通常需要经过以下几个处理过程；数据仓库设计——数据抽取——数据管理。 一、数据仓库设计 根据决策主题设计数据仓库结构，一般采用星型和雪花模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。 二、数据抽取 根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换、对数据进行重新组织和加工，装载到数据仓库的目标库中。 三、数据管理 数据管理分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据为所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。元数据是数据仓库的组成部分，元数据的质量决定整个数据仓库的质量。当数据源的运行环境、结构及目标数据的维护计划发生变化时，需要修改元数据。 1.2需求分析与决策主题的选取 通过对管理者和各级别的用户的数据分析需求进行调研，我们收集并整理出了用户的决策分析需求如下： 1.2.1 博士学位授予信息年度数据统计分析 一、按主管部门统计 从主管部门的角度，分析在一个时间段（年）内，各主管部门所授予的博士学位信息统计。可回答如“2008，由某部门主管的，博士学位授予一共有多少，其平均学习年限是多少，脱产学习的有多少人?”等问题。具有表格和图形两种方式来展示分析结果。典型报表格式如表1所示。

表1 200__年度授予博士学位情况统计表（按主管部门统计） 表1续200__年度授予博士学位情况统计表（按主管部门统计） 二、按性质类别统计

数据仓库项目常见管理问题

1.项目管理问题 1．企业经历过两次失败的数据仓库建设，现在是第三次，人们普遍认为这次也将会失败。项目经理应该作些什么来消除人们对数据仓库的消极看法？ 2．企业的业务系统方，即OLTP方的工作人员对数据仓库方不配合，比如对数据仓库的源数据申请置之不理。项目经理应该如何来应付这种情况？ 3．企业的管理层变动较频繁，支持数据仓库的企业领导可能会离开，面对这种情况，项目经理应该如何应付？ 4．企业雇佣一家咨询公司来实现一个数据仓库，但是企业的CIO认为数据仓库的建设是对其职位和权威的挑战，不断给咨询人员和项目设置障碍。咨询人员应该如何来应付这种情况？ 5．企业管理层希望试验系统（原型系统）具有和生产系统相同级别的数据质量。项目经理应该如何做，才能让管理层相信，试验系统不必和生产系统具有相同级别的数据质量？ 6．用户部门领导对共享数据不配合或者只在表面上配合。他们希望能够控制谁能查看什么数据以及什么时候可以查看。数据仓库团队怎样才能让部门领导把数据的访问权共享出来？ 7．建立好的数据几乎满足所有的成功标准。但是企业的高级管理层对数据仓库的反应很冷淡。数据仓库团队应该如何应付这种情况？ 2.项目需求问题 1．数据仓库项目已经开发了6个月的时间，在项目的开发过程中，数据仓库团队发现业务源系统正在被重写，业务系统在不断的变化，一个新的系统开发出来预计只有8个月的寿命。数据仓库团队应该如何应付这种情况？ 2．源系统和数据仓库系统同期建设。但是源系统在不断的变化中，而且源系统的开发团队没有将变化告知数据仓库团队，数据仓库团队在测试过程中出现故障才发现这些变化。这种没有告知有可能是故意的。数据仓库团队应该如何来应付这种情况？ 3．数据仓库项目开始时，企业制定了一套有效的数据仓库目标。但是，随着时间的流逝，企业又制定了一些决策，采取了一些行动，这些决策和行动与最初的目标背道而驰。数据仓库团队应该如何应付这种情况? 4．数据仓库项目进展十分顺利，但是根本没有办法判断项目将来是否能够成功。要想为数据仓库确立一个完全合适的目标是不可能的。企业应该如何来面对这种状况？ 5．数据仓库团队用极少的精力来清洗数据，研制了一个可以使用的数据库设计，作为一个数据仓库的测试原型。管理层对原型很满意，要将原型向所有的用户去展示。数据仓库团队要如何做才能让管理层相信这个原型不是为生产准备的？

建设数据仓库的八个步骤

建设数据仓库的八个步骤 摘要：建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题。 关键词：数据仓库元数据 建设数据仓库 建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤。 1.系统分析，确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求。 业务人员往往会罗列出很多想解决的问题，信息部门的人员应该对这些问题进行分类汇总，确定数据仓库所实现的业务功能。一旦确定问题以后，信息部门的人员还需要确定一下几个因素： ·操作出现的频率，即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据，是一年、两年还是五年、十年。 ·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 ·用户所能接受的响应时间是多长、是几秒钟，还是几小时。 由于双方在理解上的差异，确定问题和了解问题可能是一个需要多次往复的过程，信息部门的人员可能需要做一些原型演示给业务部门的人员看，以最终确定系统将要实现的功能确实是业务部门所需要的。 2.选择满足数据仓库系统要求的软件平台 在数据仓库所要解决的问题确定后，第二个步骤就是选择合适的软件平台，包括数据库、建模工具、分析工具等。这里有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： ·厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 ·数据库对大数据量（TB级）的支持能力。 ·数据库是否支持并行操作。 ·能否提供数据仓库的建模工具，是否支持对元数据的管理。 ·能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 ·能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下：