数据仓库项目常见管理问题

1.项目管理问题

1．企业经历过两次失败的数据仓库建设，现在是第三次，人们普遍认为这次也将会失败。项目经理应该作些什么来消除人们对数据仓库的消极看法？

2．企业的业务系统方，即方的工作人员对数据仓库方不配合，比如对数据仓库的源数据申请置之不理。项目经理应该如何来应付这种情况？

3．企业的管理层变动较频繁，支持数据仓库的企业领导可能会离开，面对这种情况，项目经理应该如何应付？

4．企业雇佣一家咨询公司来实现一个数据仓库，但是企业的认为数据仓库的建设是对其职位和权威的挑战，不断给咨询人员和项目设置障碍。咨询人员应该如何来应付这种情况？

5．企业管理层希望试验系统（原型系统）具有和生产系统相同级别的数据质量。项目经理应该如何做，才能让管理层相信，试验系统不必和生产系统具有相同级别的数据质量？

6．用户部门领导对共享数据不配合或者只在表面上配合。他们希望能够控制谁能查看什么数据以及什么时候可以查看。数据仓库团队怎样才能让部门领导把数据的访问权共享出来？

7．建立好的数据几乎满足所有的成功标准。但是企业的高级管理层对数据仓库的反应很冷淡。数据仓库团队应该如何应付这种情况？

2.项目需求问题

1．数据仓库项目已经开发了6个月的时间，在项目的开发过程中，数据仓库团队发现业务源系统正在被重写，业务系统在不断的变化，一个新的系统开发出来预计只有8个月的寿命。数据仓库团队应该如何应付这种情况？

2．源系统和数据仓库系统同期建设。但是源系统在不断的变化中，而且源系统的开发团队没有将变化告知数据仓库团队，数据仓库团队在测试过程中出现故障才发现这些变化。这种没有告知有可能是故意的。数据仓库团队应该如何来应付这种情况？

3．数据仓库项目开始时，企业制定了一套有效的数据仓库目标。但是，随着时间的流逝，企业又制定了一些决策，采取了一些行动，这些决策和行动与最初的目标背道而驰。数据仓库团队应该如何应付这种情况?

4．数据仓库项目进展十分顺利，但是根本没有办法判断项目将来是否能够成功。要想为数据仓库确立一个完全合适的目标是不可能的。企业应该如何来面对这种状况？

5．数据仓库团队用极少的精力来清洗数据，研制了一个可以使用的数据库设计，作为一个数据仓库的测试原型。管理层对原型很满意，要将原型向所有的用户去展示。数据仓库团队要如何做才能让管理层相信这个原型不是为生产准备的？

6．数据仓库经理已经实现了3个数据集市，但是还没有能让管理层相信这些努力是成功的。数据仓库经理应该作些什么来证明数据集市是成功的？

3.数据仓库成本论证与预算

1．企业有“禁止解雇”政策，管理层对工作效率的提高和成本的节约不是很关心。项目经理该如何对数据仓库及其相关工具的成本进行论证？

2．企业高级管理层成立了一个委员会，希望委员会能论证用于数据仓库及其工具的任何支出都是合理的。但是委员会只能从软收益来论证，企业该如何来处理这种情况？

3．大型零售企业的信息总监认为本企业需要一个数据仓库，但是企业的财务总监对建立数据仓库持怀疑态度，要信息总监陈述为什么应该把钱花到这样一种奢侈的尝试上。信息总监应该如何来做？

4．数据仓库项目的首任官员承担了数据仓库基础设施的全部成本。现在，企业的其他部门也在使用数据仓库，但是他们不希望为基础设施付出代价。首任主管官员应该如何来做，如何来分摊这些成本？

5．用户要求保存10年的历史数据。这需要更多的硬件，以及对更多的对源系统的代码修改。数据仓库团队如何才能论证对这些进行收费是合理的？

6．没有亲眼看到，企业不愿给数据仓库投资。企业的信息总监认为企业需要一个数据仓库，想开发一个原型来引起企业的兴趣。信息总监应该如何来处理原型需要的费用？

4.组织与职员配备问题

1．数据仓库经理认为自己的团队应该对负责，但是，一个强有力的应用软件开发经理认为数据仓库的最终目的是要交付用户使用，数据仓库团队应该向他负责。数据仓库经理应该向谁负责？应该如何来应付这种局面？

2．一家公司采用矩阵管理方式。项目经理手下没有专职的，只能依靠经理在需要时提供。但是在需要时，未必总有空闲的。项目经理正要开始另一个项目，她应该作些什么？

3．企业有一项轮换经理的政策，启动数据仓库项目的业务主管重新分配了工作，新上任的主管对该项目不熟悉，对什么东西是重要的有不同的看法，这将导致项目范围的变化。面对这种局面，项目经理应该做些什么？

4．企业销售部门的工作人员希望能建立一个数据集市，并已向部门提出要求。但这项要求排在部门优先级清单上很低的位置。销售部门也不能依靠自己的力量建立数据集市，销售部门经理应该如何应付这种局面？

5．一家企业指定了一名数据仓库经理，让他管理、开发一个跨多个部门的数据仓库。但这名数据仓库经理几乎没有任何专职的工作人员，只能从各个部门抽调业务和技术人员。这些人的时间不能得到保证，常常在需要的时候找不到人，使数据仓库的建设不断向后推迟。这名数据仓库经理应该如何应对这种局面？

6．项目经理向数据仓库经理负责。该项目经理来自企业的方，但是不太受企业员工的喜欢和尊重，他们常常不回答项目的经理的电话和电子邮件。数据仓库经理应该如何应对这种局面？

7．企业已经拨出足够的资金来开发一个特定的项目。该项目极需要从业务分析师到数据库管理员的每一样资源。但是，这个行业一直受人轻视，没有人愿意来这工作。招聘代理一直在招人，但是毫无用处。这家企业应该如何应付这种局面？

8．企业不具有建设数据仓库的各种条件，技能有限、人员不足、动机缺乏、行政斗争、还有一名准备退休而不想承担任何风险的。刚刚接受任命的数据仓库经理应该如何应对这种局面？

5.用户问题

1．企业内各业务部门的系统之间不是集成的，那些业务主管想让他们的数据进入数据仓库中，而且他们都想马上就能实现。而数据仓库经理只能逐个的满足他们的要求，要避免引起业务主管的愤怒，也要避免他们开发自己的数据仓库，数据仓库经理应该如何来处理这种局面？

2．企业的部门雇佣了一名咨询人员来开发一个数据仓库，但是该企业的业务部门不支持这个项目。部门告诉这名咨询人员继续工作，即使业务部门计划赶他走。这名咨询人员应该如何来应付这种局面？

3．部门开发了一个应用程序。但是用户没有意识到这种实现方式的优点。他们期望系统能向桌面程序一样快，并且容易使用。用户也没有兴趣参加系统开发和测试。项目经理应该如何来应付这种局面？

4．部门建立好了一个数据仓库，但是用户感觉多维分析工具使用起来太复杂。他们没有认识到多维分析的优点，也不想参加培训。数据仓库经理应该如何来应付这种局面？

5．用户相信建好的数据仓库中的数据将是完整、精确而又是非常及时的。他们很相信这一点，因为没有人明确指出任何相反的事情。数据仓库经理应该如何做才能将用户的期望值恢复到他们将要得到的现实中来呢？

6．一个企业正准备建立一个数据仓库，但是让用户清楚的说出他们需要什么非常困难。数据仓库经理应该如何应付这种局面？

6.团队问题

1．企业部门一个非常聪明、工作努力的人极想从他喜爱的供应商那里获得一个β版本，用于数据仓库的实现。如果他不能得偿所愿，他要么离开，要么不再支持这个项目。项目经理应该如何来应付这种局面？

2．管理层给项目经理一个这样的团队，其中的成员既无技能、也无热情，是其他项目经理不想留在自己团队中的人员。面对这种局面，项目经理应该如何应付？

3．管理层希望数据仓库团队中的每个人都相处融洽，但是有一两个成员与项目经理或其他成员意见不一致也是经常有的事情。如果这种意见不一致已经严重耽搁了项目的决策和进展，使项目出于流产的危险中，那么管理层应该如何来应付这种局面。

4．一个项目经理亲手挑选了所有的项目成员，这些成员都是以前项目中的明星成员，习惯于指手画脚，他们以前的经理也习惯于不经协商的接受这些明星成员的建议。现在，这些明星成员的意见是如此的不合，以至于毫无工作效率。项目经理应该如何应付这种局面？

5．项目成员为了面子，不把他们工作进展的真实状况反映给项目经理，这也导致了项目组中其他成员进度的延误。项目经理无法准确的得到项目的状态。项目经理怎样才能说服团队成员应该准确的反映他们工作的进展状况呢？

6．企业的数据仓库是在几年前建成的，现在已不能满足企业的需要。一家大型咨询公司已经让管理层相信，他们可以解决数据仓库的所有问题。面对这种局面，企业的应该如何来应付？

7．新上任的来自一家大型咨询机构，并带来了3个副手，这三个副手担任部门的重要职务。一个项目经理来负责企业的数据仓库项目，需要和这些咨询人员打交道。这些咨询人员对项目有过度的权力和影响，严重损害了项目经理的观点和地位。帐单越积越多，项目要超出预算。项目经理应该如何应付这种局面？

8．一个数据仓库在3年前建成，该系统的开发商无一人留下，技术资料残缺不全，并已过时，数据脏乱，对数据的完整性没有控制。用户对这个数据仓库系统极不满意。一名新的数据仓库经理被授权负责企业内所有数据仓库的职责。这名数据仓库经理应该怎么应对这种局面？

9．一家企业的高级管理层聘请一名咨询人员来帮助开发数据仓库的第一部分的实现，然后让接受这名咨询人员培训的内部职员继续进行后续的实现。这名咨询人员已经向该客户保证知识传授是任务的一部分。但是由于时间变得非常紧迫，这名咨询人员没有时间将他的知识传授给该公司的雇员。这些被分派来做琐碎事情的雇员，对这个数据仓库第一部分的实现了解极少。企业的高级管理层怎么才能保证知识传授能如期进行呢？

10．一个数据仓库经理接受了构建一个数据仓库的任务。他拥有购买工具、雇佣咨询人员和承包商的决策权和预算（不是很多）。这名数据仓库经理应该如何来雇佣咨询人员？应该如何来安排他们的工作及时间？应该怎样最充分的使用咨询人员和承包商呢？

11．一家企业的高级管理人员正在规划具有特殊意义的客户关系管理系统。目前，这家公司建立数据仓库的能力较弱，正在考虑将部分或者全部的数据仓库工作外包给应用服务提供商。企业是否应该把数据仓库项目外包出去？如果外包的话，如何保证外包机构最终能实现他们所需要的各种功能呢？

7.项目规划与进度安排

1．企业高管层不了解数据仓库项目为什么会花费那么多的时间。他们认为目前的计划和工作量经过了夸张，所以他们要求能有更具体化的依据来支持评估的工作量。项目经理应该如何应付这种情况。

2．团队曾多次错过完成期限而得到了较坏的名声。这次，项目经理向老板承诺了一个不切实际的最终期限。高管层也向项目经理明确宣布，他在公司的声誉及饭碗就取决于该时间表。项目经理该如何应对这种局面。

3．项目经理制订了一份项目计划，并为不测事件预留了20％的额外时间和预算。但是，业务主管及其部门内的其他人都提出了一些额外功能，并告诉项目经理他们不想修改时间进度表。事实上，20％的额外时间和预算已远远不够，项目经理该如何应付这种情况。

4．用户担心如果他们在第一个版本中没有要求所有的东西，他们就会永远也得不到这些功能，所以他们要求在第一个数据仓库的交付中，所有的功能都要一起实现。面对这种局面，项目经理应该如何做才能让用户相信这样做只会使项目失败或交付时间大量延长。

5．一个项目经理有数十年的经验，有本行业的丰富经历。他是一个永远的乐观者，他相信一切都会进展顺利，不会出现延迟。他以自己来做工作为样板制订了整个项目的计划时间表。这种情况下，这名项目经理应该怎么来做。

8.数据仓库标准

1．一家企业要建设一个数据仓库，但是这家企业的工作人员没有数据仓库的使用经验，对数据仓库建设方法学也一无所知。数据仓库项目经理应该如何做，才能让用户相信在一个数据仓库项目中使用一种方法学是必要的呢？

2．一家银行为它的业务数据库环境制订了非常严格的数据库管理标准。这些强调，必须要像设计和管理环境一样管理这个数据仓库环境。数据仓库经理怎样做，才能使这些认识到这个标准不适合数据仓库环境，需要对该标准进行修改呢？

3．一家企业的雇员在过去的5年内一直在滥用数据仓库的名词，他们把“独立的数据集市”称为“数据仓库”，他们把“遗留的业务系统”称为“操作数据存储”。他们正计划将所有的操作型系统和分析型系统整合成一个共享数据库。数据仓库经理怎样做，才能让企业用户相信的查询和的查询放在一起是不适合的？

4．一家企业的雇员酷爱术语“数据挖掘”，并用它来描述所有类型的决策支持活动。现在这家企业正在考虑建立的内容是真正意义上的数据挖掘，但向一个深信已经拥有数据挖掘的组织来证明这一点是很困难的。数据仓库项目经理要如何对这家企业进行数据挖掘的教育和宣传呢？

5．一家跨国企业的高级主管正试图建立一个综合的商业智能环境。他们需要处理各种需求、预算问题、语言翻译、国家法律的多样性、分布式与集中式等各种问题。面对这种局面，数据仓库设计师应该如何来考虑？这样的一份计划能否实现？

9.工具与供应商

1．一个非盈利性企业正准备建立一个数据仓库，来跟踪他们全体成员的活动。这样一个大的项目需要一个需求建议书，其中会有筛选供应商的资料等内容。但是，企业的高级管理人员不希望这个需求建议书影响他们的进度。面对这种局面，企业应该采取什么样的对策？

2．一家企业的数据仓库建好之后，发现经过培训的用户只有5％的人经常使用。而没有使用的人员对查询和报表制作工具不满意，因此不使用数据仓库。面对这种局面，企业应该如何处理？

3．一家企业在一个面向对象的环境中开发了他们所有的应用软件。由于那些实现是成功的，所以这家企业中几乎每个人都相信，面向对象的开发方法可以开发所以系统，包括数据仓库。这种做法适合数据仓库吗？

4．一家企业的工具选择委员会有选择数据仓库工具的权利。但是，企业部门内一些有权势的人有自己的选择倾向，并抵制不同的选择。工具选择委员会应该如何来应付这种局面？

5．一家企业数据仓库经理预计，他们的数据仓库在两年内的数据量会变得非常大。他喜欢使用一个工具，但是又比较担心这个工具在数据量非常大时的性能。这个工具非常贵，他不想投资后将来再遗弃这个工具。面对这种局面，数据仓库经理应该如何处理？

6．一家数据仓库供应商有一套数据仓库产品，其中有些产品是非常出色的，有些产品是低于标准的次质产品。该供应商的业务代表正在推销整套产品，他们明确的表示，要想获得定级支持服务就必须要购买整套产品。面对这种局面，这家企业应该如何处理？

7．一家企业完成了软件评估的过程，并深思熟虑的选择了一个供应商和工具。失败的供应商不明白怎么会得到一个“不”的回答。他们上诉到高一级的管理层，请他们重新考虑这项建议。面对这种局面，评估团队应该采取什么对策？

8．一家企业对他们正在使用的查询工具非常满意。但是工具的供应商陷入了财政危机，并被出售。收购公司解雇了大多数开发人员和支持人员。现在的支持服务非常糟糕，而且根据收购公司的声誉，预计支持服务也不会有明显改进。面对这种局面，这家公司应该如何处理？

10.安全

1．一个企业建立了一个数据仓库系统，用来分析企业的部门及产品相关盈利能力。数据仓库实现不久，项目经理被叫到办公室，被要求解释为什么一位职位低下的金融分析师能够在数据

仓库中查看详细的工资记录，这些数据在公司中只有副总裁才可以访问。显然，这个数据仓库中没有建立安全计划。面对这种局面，这家企业怎么才能扭转这种局面呢？

2．一位数据仓库咨询人员告诉一家企业，他们必须考虑数据仓库内的安全问题，并应该将这个角色分派给一位职员，由他来负责这件事情。这家企业有多台服务器，服务器上是使用了多种操作系统和多种数据库管理系统。但是接受这件任务的职员不清楚这个角色应该作些什么。他对这项工作的有多大，如何面对安全问题，以及他要面临的问题都没有概念。面对这种局面，他应该如何在完成这份工作？

3．一家企业已经意识到了数据仓库的安全问题的重要性，并配备了专门的职员做这件事。这位职员以前是数据分析师，几乎没有安全事务方面的基础知识。这位职员应该如何开始工作呢？他在数据仓库团队中的角色和权力应该是什么呢?

11.数据质量

1．一个数据质量分析师正在试图分析一个数据仓库之中数据的质量状况。这个数据仓库的数据量非常的大，数据质量分析师准备用抽样的方式进行分析。但是他不知道需要抽样多少数据，如何抽样，以及如何向用户解释抽样分析的结果是准确的。这位数据质量分析师应该如何来进行工作呢？

2．一个电信公司有一个含有14数据的数据仓库。这家公司估计到，该数据中有10以上的数据可能是冗余的。这家公司没有命名约束，其中只有20％的数据有相关的元数据。面对这种局面，这家公司应该如何来识别和消灭冗余数据呢？

3．企业管理层没有意识到业务系统中数据是多么的脏乱。这些数据中存在冗余、记录不完备、默认值不正确、有不符合规则的数据存在、参照完整性缺乏等问题。随着数据仓库团队工作的逐步进展，来在项目团队和用户的意见已明确显示出，数据的质量已经不足以让项目继续下去。净化数据需要大量的时间，而这些时间在项目时间表中没有安排。面对这种局面，项目经理应该如何来处理？

4．企业数据仓库的数据质量非常差，净化的过程将是高代价的。管理层没有意识到数据质量的问题，这些业务系统表面上看工作的很好。此外，管理层不愿意花费金钱和资源纠正非常脏乱的数据。面对这种局面，数据仓库团队应该采取什么样的对策来让管理层相信需要净化他们的数据呢？

5．一名没有经验的数据仓库设计师坚决主张，只有100％正确的数据才能进入数据仓库。他开发了一个复杂的临时存储区，用来存储、检查、改正和重新处理错误的源数据。这个临时存储区很快变得非常巨大。由于太多的数据被拒绝进入数据仓库，大部分都是微不足道的错误，业务用户对数据仓库的信任度正在迅速下降。面对这种局面，项目经理应该采取什么样的对策？

6．一家企业的数据仓库系统已经开发完毕，也使用正式数据进行了详细的测试。但是正式上线几个月后，却发现出现了问题，经查实，是从源系统提取数据的脚本出了问题。这个脚本会

随机的出现故障，而程序也没有确定出正在处理的数据只是部分数据集。现在数据仓库和源系统已经严重不同步。这个数据仓库团队应该如何才能使数据仓库回到正确的轨道上来呢？

7．一家企业的数据仓库根据源系统记录中的“最后更新”时间戳来从源系统中提取数据。脚本运行了几个月后，运行时间严重超常。经查实，问题出在一个源系统上。一名开发人员正在这个源系统上定期大规模修改数据，以便修改一个还没有在应用代码中得到纠正的错误。这名开发人员大规模修改一次，“最后更新”时间戳就会被全部更新，数据仓库迁移脚本就会一夜之间处理完全部的数据。这个问题应该如何来解决呢？

12.数据整合

1．一家拥有650个经销商的汽车制造公司，有3个独立的经销管理系统，这650个经销商都有自己的数据库。这家企业应该如何来收集、清理并整合这些数据呢？

2．一家企业为了保证企业内数据的一致性，委任了一名数据管理经理为整个企业创建一个统一的企业数据模型。但是，企业内有两个项目正准备开工，而且两个项目经理都不愿意等企业数据模型的建成。没有企业数据模型的情况下，建立的信息系统很难和企业内的其他系统进行整合。面对这种局面，应该采取什么对策呢？

3．一家企业遇到了数据整合的问题，这个问题看起来是由于企业缺乏一个好的主数据管理策略造成的。这家企业基本上没有对主数据的变更进行控制。目前，企业正准备将数据库建立成分布式的。企业的正在寻找关于集中式与分布式的建议，以及对数据维护策略的建议。你可以提供一些什么样建议？

4．一家客户数据仓库的业务主管想要数据实时更新。实时更新应该得到允许吗？有没有任何更好的替代方案呢？

5．在调查了其他企业的数据仓库实现之后，一家企业决定不能建立烟囱式的数据集市系统。可是，有3个部门强烈要求为它们的部门实现一个数据集市，并要求尽快实现。这家企业应该怎样来避免建设烟囱式的系统呢？

6．一位数据仓库经理负责企业内所有数据仓库建设活动，他意识到，如果来自数据仓库的报表和查询与来自业务系统的报表和查询不相符的话，他将遇到信誉问题。但是，大部分业务数据都是脏乱的，必须得到清理后才能满足分析师的要求。如果他将业务数据进行清理的话，报表结果将会和业务系统的那些结果不一致，数据仓库的有效性会遭到怀疑。面对这种局面，这位数据仓库经理应该采取什么样的措施？

7．给数据仓库提供数据的业务系统的数据问题已经越来越明显了。管理层认为数据仓库建设项目的一部分工作就是纠正业务系统的错误。那么，数据仓库团队应该尝试这项工作吗？

13.数据仓库架构

1．企业的数据仓库已经从50增长到了1。它最初仅有50个用户，而现在已增长到300个用户。系统的响应慢得吓人，用户怨声载道，在数据仓库的扩展和性能方面遇到的极大的困难。所有的新需求都被置之不理。所有的一切都是由于最初的架构引起的，这个架构只考虑了50G

空间和50个用户。而目前架构中的任何变化都将是高代价和破坏性的。面对这种局面，数据仓库设计师应该如何处理？

2．一家企业内有12个“数据仓库”，其实它们都是彼此独立的数据集市。这家企业坚决反对一个中央数据仓库。这12个数据仓库的所有者都希望自己能拥有数据的控制权。此外，这家企业没有命名约定，即使在每个数据仓库之中也是这样。现有的数据有一半以上没有元数据。面对这种情况，这家企业应该如何来集成和清理它的环境呢？

3．一家企业有个不好的习惯，就是有时需要回退事务。这些事务在实际发生后的一个月或者更长时间才进入系统。财务人员认为历史信息不应该改变，但是这家企业的数据仓库根据回退事务改变历史的数据值。这种做法合理吗？回退事务是否应该改变数据仓库中的历史信息呢？

4．一家企业正在设计一个点击流数据仓库，应用软件是。他们正在征求设计这个超大型数据仓库方面的建议。他们应该考虑并行性和数据的划分方式吗？他们应该考虑的任何具体特性吗？

5．一家企业有分析数据的历史变化情况的需求。不想在事实表中重复的保存所有的事实，因为他们有大量的事实。他们正在使用工具自动生成语句，但是他们发现用处理时间变化情况并不是一个好办法。他们应该如何来做呢？

6．一家企业正处于实现一个新业务系统的过程中，并遇到了任何新系统所具有的常见问题。企业的管理层正竭力把一个数据仓库和这个业务系统同时建立，这个业务系统作为数据仓库的数据源。这样的开发方式可行吗？

7．一家企业正在进行数据仓库的开发。他们的策略是先适度的完成一个基于的报表制作系统，然后在交付后将另外的报表不断的添加上。但是这项策略彻底失败了，报表制作的需求像气球一样膨胀。目前数据仓库完全变成了一个报表制作系统。数据仓库团队应该如何来处理这种情况？

8．一家企业正处于指定一个数据仓库策略的论证阶段。软件选择委员会已经选定了许多来自不同开发商的产品。他们认为，元数据对他们的成功是至关重要的，但是他们同时也担心从多个源系统和开发商的产品集成元数据的能力。在多个源系统和开发商的产品之间管理一个统一的元数据是可能的吗？

9．一个零售商正在收集存储器中的销售单据数据。在单据中有诸如一包装有12听可以零售的罐头这样的数据，其中整包与单听有不同的码。也就是说，分析师以单听粒度进行查询的话，他们就不能对整包销售进行分析。那么，数据仓库团队应该如何来处理这些数据呢？

14.性能

1．一家企业把一个较大的财务、培训和实现责任都托付给一个软件产品。但是这个软件产品目前的性能出现了问题，几乎不能运转了。面对这种局面，这家企业应该做些什么呢？

2．一家企业的数据仓库中数据量的增长比它的源系统数据量增长快得多。硬件的成本已经超出了预算，而且眼前没有停止的迹象。管理层很担心，并提出了两个较难回答的问题。这个数据仓库该不该比源系统数据增长得更快？如果不，数据仓库经理能够采用什么样的措施来阻止这种增长？

3．一家企业的数据仓库采用了星形建模的方式来设计。一个事实表的加载时间很快超过了24个小时。该事实表的数据必须每日更新一次。面对这种情况，应该采取什么样的措施呢？

建设数据仓库7个步骤

成功实施数据仓库项目的七个步骤 建立一个数据仓库并不是一个简单的任务，不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术，因此，一个成功的数据仓库实施需要这两方面的不断协调，以均衡其所有的需要，要求，任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法，这些数据库包括交易数据库，数据仓库，和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取，转换和加载(ETL )过程中，所以我会集中在这些领域讨论我的方法。然而，您可以将这些方法扩展到整个栈--OLAP立方体和如报告，特征分析(ad-hoc analysis)，记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作，相反，我写的这些是为那些数据库管理员和开发者，他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员，他们被突然要求：“建立一个数据仓库“，并且需要自己扮演项目经理的角色。我的讨论不会是完整的，但我希望这会给您足够的信息来让您的项目球滚起来。 如图1所示，数据仓库项目有3个轨道(tracks)：数据轨道，技术轨道和应用层轨道。当您在整理任何数据库项目计划时，我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ，商业决策者( BDMs ) ，和所有其他该数据仓库项目参与者讲解您的计划时，您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源，比如设计，开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法，继续前进吧，您可采用我为我自己的数据库项目开发的7D数据库生

仓库管理系统设计(案例)

北京航空航天大学 机械工程及自动化学院 仓库管理系统数据库设计《数据库原理及应用》大作业 班级： 学号： 姓名： 2013-12-27

目录 摘要 (4) 关键字 (4) 引言 (5) 1．需求分析 (6) 2.2 引言 (6) 2.2需求分析阶段的目标与任务 (7) 2.2.1 处理对象 (7) 2.2.2 处理功能及要求 (7) 2.2.3.安全性和完整性要求 (8) 2.3需求分析阶段性成果 (8) 2.3.1 体会与收获 (8) 2.3.2仓库管理系统业务流程图 (9) 2.3.3 仓库管理系统数据流程图 (9) 2.3.4仓库管理系统数据字典 (13) 2.3.5 处理逻辑描述 (15) 3.概念设计阶段 (16) 3.1 引言 (16) 3.2任务与目标 (16) 3.3 阶段结果 (17) 4.逻辑设计阶段 (20) 4.1 逻辑设计的任务与目标 (20) 4.2 数据组织 (20)

4.2.1 将E-R图转换为关系模型 (20) 4.2.2 数据库模式定义 (22) 4.2.3 用户子模式的定义 (25) 4.3 数据处理 (26) 5.物理设计阶段 (27) 5.1 物理设计阶段的目标与任务 (27) 5.2数据存储方面 (27) 5.3 系统功能模块 (27) 5.3.1 货物基本信息的查询与更新模块 (27) 6.数据库实施阶段 (29) 6.1建立数据库、数据表、视图、索引 (29) 6.1.1 建立数据库 (29) 6.1.2 建立数据表 (29) 6.1.3 建立视图 (32) 6.1.4 建立索引 (32) 7.心得体会 (33)

数据库与数据仓库的区别是什么

数据库与数据仓库的区别是什么 简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。 单从概念上讲，有些晦涩。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。 显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。那么，数据仓库与传统数据库比较，有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的。这一点，类似于传统农贸市场与超市的区别—市场里面，白菜、萝卜、香菜会在一个摊位上，如果它们是一个小贩卖的;而超市里，白菜、萝卜、香菜则各自一块。也就是说，市场里的菜(数据)是按照小贩(应用程序)归堆(存储)的，超市里面则是按照菜的类型(同主题)归堆的。 “与时间相关”:数据库保存信息的时候，并不强调一定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。决策中，时间属性很重要。同样都是累计购买过九车产品的顾客，一位是最近三个月购买九车，一位是最近一年从未买过，这对于决策者意义是不同的。 “不可修改”:数据仓库中的数据并不是最新的，而是来源于其它数据源。数据仓库反映的是历史信息，并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库

数据仓库建设方案详细

第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标，结合系统数据业务规，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容： 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume

及传统的ETL采集工具。 数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。 数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分容：外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:

成功实施数据仓库项目的7个步骤

成功实施数据仓库项目的7个步骤 建立一个数据仓库并不是一个简单的任务，不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术，因此，一个成功的数据仓库实施需要这两方面的不断协调，以均衡其所有的需要，要求，任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法，这些数据库包括交易数据库，数据仓库，和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取，转换和加载(ETL )过程中，所以我会集中在这些领域讨论我的方法。然而，您可以将这些方法扩展到整个栈--OLAP立方体和如报告，特征分析(ad-hoc analysis)，记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作，相反，我写的这些是为那些数据库管理员和开发者，他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员，他们被突然要求：“建立一个数据仓库“，并且需要自己扮演项目经理的角色。我的讨论不会是完整的，但我希望这会给您足够的信息来让您的项目球滚起来。

如图1所示，数据仓库项目有3个轨道(tracks)：数据轨道，技术轨道和应用层轨道。当您在整理任何数据库项目计划时，我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ，商业决策者( BDMs ) ，和所有其他该数据仓库项目参与者讲解您的计划时，您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源，比如设计，开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法，继续前进吧，您可采用我为我自己的数据库项目开发的7D数据库生命周期管理方法(Discover, Design, Develop, Deploy, Day to Day , Defend, Decommission), 昵称“7D法”。 我的“7D”数据库生命周期管理方法讲的是数据库的生命周期管理，而不是相关的软件(应用程序)和硬件的生命周期。图1包括了软硬件轨道，但我不会进一步阐述它们的管理。为了成功实施数据库生命周期的方法，有必要调整和同步数据库生命周期的里程碑、硬件和应用软件。

商品仓库管理系统(数据库设计)

数据库原理课程设计仓库管理系统

第一章绪论 课题背景介绍 1.1.1课题开发背景 商品库存管理系统是一个企业不可缺少的部分,它的内容对于企业的决策者和管理者来说都至关重要,所以商品库存管理系统应该能够为用户提供充足的信息和快捷的查询手段。但一直以来人们使用传统人工的方式管理仓库中的各种物资设备，这种管理方式存在着许多缺点,如:效率低、另外时间一长,将产生大量的文件和数据,这对于查找、更新和维护都带来了不少的困难。 随着科学技术的不断提高,计算机科学日渐成熟,其强大的功能已为人们深刻认识,它已进入人类社会的各个领域并发挥着越来越重要的作用。 作为计算机应用的一部分,使用计算机对物资信息进行管理,具有着手工管理所无法比拟的优点.例如:检索迅速、查找方便、可靠性高、存储量大、保密性好、寿命长、成本低等。这些优点能够极大地提高人事劳资管理的效率,也是企业的科学化、正规化管理,与世界接轨的重要条件。因此，开发这样一套商品库存管理软件成为很有必要的事情。 1.1.2课题开发意义 大多数库存管理理论认为，库存是物理上和逻辑上库房库位的所有有形和无形物料极其价值的总和，具体包括成品、原材料、在制品、在途品、生产前物料、备品备件等。虽然持有一些库存是必要的，过量的库存却非但没有用处而且占用了资金。占用的资金对于公司发展、新产品开发等都是非常需要的；减少资金占用还可以大大减少来自银行贷款的利息和风险。对那些采购量特别大、采购件市场价格有波动的物料库存，加强库存管理效果更为明显。因此，平衡公司库存投资与其它资金需求至关重要。 随着我国经济的飞速发展，各种类型规模的公司企业迅速崛起，许多从事生产和经营管理的企业都有自己生产和销售的产品，而这些产品都需要储存在仓库中，对于每个企业来说，随着企业规模的不断扩大，产品数量的急剧增加，所生产产品的种类也会不断地更新与发展，有关产品的各种信息量也会成倍增长。面对庞大的产品信息量，如何有效地管理库存产品，对这些企业来说是非常重要的，库存管理的重点是销售信息能否及时反馈，从而确保企业运行效益。而库存管理又涉及入库、出库的产品、操作人员及客户等方方面面的因素，如何管理这些信息数据，是一项复杂的系统工程，充分

数据库和数据仓库的区别

简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。 单从概念上讲，有些晦涩。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。 显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。那么，数据仓库与传统数据库比较，有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的。这一点，类似于传统农贸市场与超市的区别—市场里面，白菜、萝卜、

数据仓库项目常见管理问题

1.项目管理问题 1．企业经历过两次失败的数据仓库建设，现在是第三次，人们普遍认为这次也将会失败。项目经理应该作些什么来消除人们对数据仓库的消极看法？ 2．企业的业务系统方，即OLTP方的工作人员对数据仓库方不配合，比如对数据仓库的源数据申请置之不理。项目经理应该如何来应付这种情况？ 3．企业的管理层变动较频繁，支持数据仓库的企业领导可能会离开，面对这种情况，项目经理应该如何应付？ 4．企业雇佣一家咨询公司来实现一个数据仓库，但是企业的CIO认为数据仓库的建设是对其职位和权威的挑战，不断给咨询人员和项目设置障碍。咨询人员应该如何来应付这种情况？ 5．企业管理层希望试验系统（原型系统）具有和生产系统相同级别的数据质量。项目经理应该如何做，才能让管理层相信，试验系统不必和生产系统具有相同级别的数据质量？ 6．用户部门领导对共享数据不配合或者只在表面上配合。他们希望能够控制谁能查看什么数据以及什么时候可以查看。数据仓库团队怎样才能让部门领导把数据的访问权共享出来？ 7．建立好的数据几乎满足所有的成功标准。但是企业的高级管理层对数据仓库的反应很冷淡。数据仓库团队应该如何应付这种情况？ 2.项目需求问题 1．数据仓库项目已经开发了6个月的时间，在项目的开发过程中，数据仓库团队发现业务源系统正在被重写，业务系统在不断的变化，一个新的系统开发出来预计只有8个月的寿命。数据仓库团队应该如何应付这种情况？ 2．源系统和数据仓库系统同期建设。但是源系统在不断的变化中，而且源系统的开发团队没有将变化告知数据仓库团队，数据仓库团队在测试过程中出现故障才发现这些变化。这种没有告知有可能是故意的。数据仓库团队应该如何来应付这种情况？ 3．数据仓库项目开始时，企业制定了一套有效的数据仓库目标。但是，随着时间的流逝，企业又制定了一些决策，采取了一些行动，这些决策和行动与最初的目标背道而驰。数据仓库团队应该如何应付这种情况? 4．数据仓库项目进展十分顺利，但是根本没有办法判断项目将来是否能够成功。要想为数据仓库确立一个完全合适的目标是不可能的。企业应该如何来面对这种状况？

数据仓库建设方案84099

1.数据仓库概述 经过多年IT的建设，信息对于XXX 的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好XXX 内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，XXX 业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏XXX 全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML 、EXCEL 等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX 各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX 业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。

数据仓库项目经理岗位职责范本

岗位说明书系列 数据仓库项目经理岗位职 责 （标准、完整、实用、可修改）

编号：FS-QG-34712数据仓库项目经理岗位职责 Data Warehouse Project Manager Position Responsibilities 说明：为规划化、统一化进行岗位管理，使岗位管理人员有章可循，提高工作效率与明确责任制，特此编写。 数据仓库项目经理职位职能:项目管理需求分析系统设计 职位描述 工作职责 1.负责银行数据仓库类系统的项目管理、需求分析及系统设计 2.通过与相关部门和团队的积极有效沟通，确保系统研发进度与质量 3.项目管理、需求分析、系统分析、 任职要求 1、8年以上数据仓库、大数据平台的开发经验; 2、掌握并熟练使用Oralce/Teradata/Hadoop等主流数据库/大数据平台;

模型、框架或者调度; 4、拥有5年以上管理团队或厂商的经验; 5、有一定的抗压能力，善于发现项目中的潜在风险并汇报; 6、善于沟通，有良好的团队协作能力; 职位职能:项目管理需求分析系统设计 职位描述 工作职责 1.负责银行数据仓库类系统的项目管理、需求分析及系统设计 2.通过与相关部门和团队的积极有效沟通，确保系统研发进度与质量 3.项目管理、需求分析、系统分析、 任职要求 1、8年以上数据仓库、大数据平台的开发经验; 2、掌握并熟练使用Oralce/Teradata/Hadoop等主流数据库/大数据平台;

模型、框架或者调度; 4、拥有5年以上管理团队或厂商的经验; 请输入您公司的名字 Foonshion Design Co., Ltd

浅谈数据仓库中的元数据管理技术

浅谈数据仓库中的元数据管理技术 孙力君仇道霞方峻峰宋楠 山东省烟草公司信息中心 摘要：数据仓库是数据库的发展方向之一，对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念，重点阐述了元数据的概念、作用、CWM标准、来源，并就元数据具体应用进行了初步的研究和探讨。 关键词：数据仓库；元数据； 1. 引言 随着市场竞争的越来越激烈，烟草行业的信息化建设不断的深入发展，全行业形成了“以信息化带动烟草行业现代化建设”的基本共识，明确了“统一标准、统一平台、统一数据库、统一网络”，逐步实现系统集成、资源整合、信息共享的信息化建设总体要求，走过了“由基础性向应用性、由局部性向全局性、由分散性向集中性建设”的三个转变历程，初步形成了“数字烟草”的行业信息化建设格局，既对行业数据中心的建设提出了迫切的要求，也为行业数据中心建设奠定了坚实的基础。 随着数据库技术尤其是数据仓库技术的发展，人类能更容易获得自己需要的数据和信息，由于元数据是数据仓库中非常重要的组成部分，因此讨论和研究元数据在数据仓库中的作用和应用，具有非常重要的意义。 元数据管理是山东烟草数据中心建设的重要组成部分，元数据管理平台为用户提供高质量、准确、易于管理的数据，它贯穿数据中心构建、运行和维护的整

个生命周期。同时，在数据中心构建的整个过程中，数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节，均需要通过相应的元数据的进行支撑。元数据管理的生命周期包括元数据获取和建立、元数据的存储、元数据浏览、元数据分析、元数据维护等部分。 通过元数据管理，形成整个系统信息数据资的准确视图，通过元数据的统一视图，缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据，梳理业务元数据之间的关系，建立信息数据标准完善对这些数据的解释、定义，形成企业范围内一致、统一的数据定义，并可以对这些数据来源、运作情况、变迁等进行跟踪分析。完善数据中心的基础设施，通过精确把握经营数据来精确把握瞬息万变的市场竞争形式，使山东烟草在市场竞争中保持优势。 总的来说，元数据管理平台集成相关的元数据，形成企业的全局数据视图，提供企业级共享元数据的平台，是烟草业务系统的基础设施，对业务系统的发展、应用和数据质量的提升有着深远影响。 2.数据仓库概述 目前有关数据仓库的概念有多种，其中最经典的，引用最为广泛的定义是W.H.Inmon在《Building the Data Warehouse》一书中给出的，他指出：“数据仓库是面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理层的决策过程”。[1] 之所以要引入数据仓库，是因为随着信息时代的到来，如何从大量已存在的数据中提取出自己所感兴趣的信息并进行分析和预测越来越成为企业管理者和决策者所关心的问题。为了更好的进行管理和决策，许多企业都选择了数据仓库，利用数据仓库可以对各种源数据进行抽取、清理、加工

仓库管理系统典型数据库

河南城建学院 《典型数据库》课程设计报告 课程名称：《典型数据库》课程设计 设计题目：仓库管理系统 指导教师： 班级： 学号： 学生姓名： 同组人员： 计算机科学与工程学院 2016年1月10日

目录

第1章概述 选题的背景与意义 1、背景： 随着信息技术的发展和国内外互联网技术应用水平的逐步提高，在企业管理过程中，传统的工作方式和管理模式已经难以满足现代社会的必然需求，实现企业现代化综合管理已经是提高国家政府机关和企事业单位各部门工作效率、规范化管理的必然发展趋势。随着经济全球化、信息网络化和物流现代化进程的全面推进，仓储供需量呈现爆炸式的增长，传统的仓库管理模式和管理系统，已根本满足不了现代社会全面信息化的严峻挑战，如何加强以信息化为指导的现代仓库管理技术已成为物流现代化走向成功的有效途径，如何将互联网技术和仓储物流的信息化技术紧密结合起来，开发出适应当前社会发展需要的、先进的现代化物流仓储管理技术平台，是现代化物流发展技术中一项基础的、又是很关键的、特别值得研究的子课题。ASP技术是面向对象编程的技术，可实现复杂数据库的操作；用ASP开发的Web应用程序安装在网络服务器上，运行在网络服务器上，因而ASP源程序的隐密安全系数性高；而ASP又是基于B/S模型架构的、开放式的Web服务器的应用程序开发技术，因此，采用ASP技术开发运行在服务器端的仓库管理信息系统平台是众多软件设计与开发人士的首要选择。本文比较全面地阐述了与ASP、ADO、B/S模式有关的理论技术，为构建Web仓库管理信息系统提供了必要的理论支持。首先分析了ASP技术的优势、特点及其工作原理，剖析了ASP工作的核心内涵，搭建了ASP技术的工作环境，为开发系统功能提供的必需的技术运行环境；分析了目前Web数据库最佳访问组件ADO技术的对象与数据集之间的关系，直接搭建了Web应用程序与数据库访问的联系梁；根据现代仓储市场的需求特点，对拟开发系统的功能进行了细致地分析与设计，建立了仓储数据管理的E-R模型图、数据库结构，分析了B/S架构模式的三层框架，构建了以该框架为模型的仓库管理信息系统，重点分析介绍了有关功能模块的ASP实现过程，成功地实现了基于ASP运行环境的仓库管理信息系统的开发与设计；并对本系统的各项功能进行了测试与分析，发现系统运行状态良好，人机交互友好，程序设计实现合理，达到了项目设计的目的和要求。最后，对本次的项目设计进行了总结与展望，发现了系统的构架模式关系着程序开发效率，对开发系统有着重要的影响意义，好马配好鞍，优秀的软件必然有优秀的构架。作为软件开发设计人员既要努力学好软件技术又要重视相关模式的学习，这样，就能达到事半功倍的效果，设计开发出

元数据管理解决方案-2018.3.27

元数据解决方案 随着报价系统每年收集和使用的数据飞速增长，数据体量日趋增长，数据形态多样化且不统一，多种数据源之间的采集、传播和共享遇到困难。元数据管理作为大数据治理的核心，是有效管理这些数据的基础和前提，在信息化建设中发挥着重要的作用。如何理解、管理并发挥出元数据的价值，成为迫切的任务。 一、什么是元数据 元数据（Metadata）是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 1. 技术元数据 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息： 1) 数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据 的定义，以及数据集市的位置和内容。 2) 业务系统、数据仓库和数据集市的体系结构和模式。 3) 汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、 汇总、预定义的查询与报告。 4) 由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分 割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存 取控制）。 2. 业务元数据 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：

1) 使用者的业务术语所表达的数据模型、对象名和属性名。 2) 访问数据的原则和数据的来源。 3) 系统所提供的分析方法以及公式和报表的信息。 4) 企业概念模型、多维数据模型，业务概念模型与物理数据的依赖， 二、元数据的作用 元数据可以实现业务模型与数据模型的映射，帮助用户理解数据仓库中的数据；元数据清晰的描述了数据的来龙去脉，描述了数据抽取转换规则，是保证数据质量的关键；元数据管理系统可以把整个业务的工作流、数据流和信息流有效的管理，可以支持需求变化，从而提高系统的可扩展性；打通数据孤岛，统一数据定义，形成企业级知识传承平台，元数据管理使得数据变的更有价值。三、元数据管理 在大数据时代的背景下，数据即资产，元数据实现了信息的描述和分类的格式化，从而为机器处理创造了可能，它能帮助企业更好地对数据资产进行管理，理清数据之间的关系。元数据管理是企业提升数据质量的基础，也是企业数据治理中的关键环节。元数据管理不当，信息很容易被丢失，进而不能对业务进行有效支撑，企业内部业务人员要识别相关信息就会变得十分困难，最终用户也将失去对数据的信任。 1. 元数据采集 技术元数据的采集，根据现有元数据设计出元模型，然后将数据仓库系统之中的元数据按元模型集中汇总并关联到一起，达到企业对数据统一管理与应用的目的，ETL等产生的元数据，对于元数据管理工具支持的格式可直接进行导入，对于一些自定义的规则，需要进行格式转换并导入。

数据仓库中元数据的管理

数据仓库中元数据的管理M etadata M anagem en t i n a Data W arehouse 同济大学计算机科学与工程系(上海200092) 史金红　吴永明 【摘要】　介绍了数据仓库中四种基本类型的元数据,说明了不同类型元数据的收集和维护方法,并着重对分布式元数据的集成和管理进行了详细的阐述。 关键词:数据仓库,数据商场,决策支持,元数据 【Abstract】　T h is p ap er in troduces fou r typ es of m etadata and the m ethods of co llecting and m ain tain ing them.It focu ses on the m etadata m anagem en t and in tegrity. Key words:　da ta warehouse,da ta mart, dec ision support,m etada ta 1　引言 随着社会的发展和计算机技术的进步,人们已不满足于用计算机只作简单的数据处理和事务处理。进一步用现有的数据进行分析和推理,从而为决策提供依据的需求导致了决策支持系统(D SS)的出现。90年代以来计算机技术、网络技术和数据库技术的迅速发展为D SS提供了必要的技术环境, OL T P和办公自动化普遍应用积累的大量数据为D SS提供了必要的数据基础,日趋激烈的市场竞争促进了各级管理和决策人员对D SS的实际需求,因此自从1991年W.H.Inm on提出数据仓库的概念和1993年E.F.Codd提出OLA P概念以来,已有许多商品化的数据仓库管理系统和联机分析处理工具软件面市。以上诸因素的共同作用促成许多公司、机构纷纷为提高自己的竞争能力建立数据仓库系统以进行决策支持。 元数据是成功的数据仓库的重要组成部分,它可以帮助数据仓库项目小组明确而全面地理解潜在数据源的物理布局以及所有数据元的业务定义,帮助数据仓库用户有效地使用仓库中的信息,帮助数据库管理员了解某些表的变化将对数据仓库产生怎样的影响以及不同商业过程对应的应用等等。项目小组在开发过程中应当识别元数据并将它收入到元数据商店中,实施适当的过程捕作企业数据结构和应用的变化,从而修改相应的元数据,并向用户提供适当的工具访问元数据。 2　元数据的基本类型 元数据按照其用户可以分为技术元数据和商业元数据。技术元数据提供给数据仓库的技术人员,数据仓库技术人员在仓库的开发和维护中使用这类元数据。商业元数据是商业用户在仓库中寻找他们所需商业信息的一个辅助。但是,技术人员可能也需要访问几种类型的商业元数据,如和商业用户讨论信息需求和建立企业的数据模型。同样,商业用户也需要尝试高水平的技术元数据。 元数据按其内容可以分为四个基本类型: 1)关于数据仓库潜在数据来源的信息,包括现有的业务系统、可得到的外部数据和目前手工维护的信息。例如,一个组织可以从中识别数据来源的潜在仓库数据源有:几个现有的应用程序,由财务部门保存的基于PC机的电子报表,从某一卖主处购买的销售数据,目前由顾客服务部门在纸上保存的顾客联系记录。 2)关于数据模型的信息,包括业务实体、关系、企业规则和企业数据模型。 3)关于业务数据与仓库数据结构间的映射信息。只要那些来源中的一个数据元与仓库建立了映射关系,就应该记录下这些数据元间的逻辑联系以及发生的任何变换或变动。 4)关于数据仓库中信息的使用情况。了解这类信息对更好地调整仓库性能、更多地利用现有查询以及理解仓库中的信息怎样用于解决企业问题是很重要的。 3　元数据的收集和维护 在适当的时间收集适当的元数据是成功实施元数据驱动的数据仓库的基础。为保证较高的准确

EDW数据仓库项目方案

XX银行 EDW/数据仓库项目方案

目录 第一章系统总体架构................................................................. ５1.1总体架构设计概述............................................................... ５ 1.1.1总体架构的设计框架 ..................................................... ５ 1.1.2总体架构的设计原则 ..................................................... ６ 1.1.3总体架构的设计特点 ..................................................... ７1.2EDW执行架构.................................................................... ７ 1.2.1执行架构概述............................................................... ８ 1.2.2执行架构设计原则 ........................................................ ８ 1.2.3执行架构框架............................................................... ９1.3EDW逻辑架构................................................................. １８ 1.3.1逻辑架构框架............................................................ １８ 1.3.2数据处理流程............................................................ ２７1.4EDW运维架构................................................................. ２８ 1.4.1运维架构概述............................................................ ２８ 1.4.2运维架构的逻辑框架 .................................................. ３０1.5EDW数据架构................................................................. ３６ 1.5.1数据架构设计原则 ..................................................... ３６

数据仓库元数据管理

1.1.1 第一章元数据概论 企业的计算机系统每年会产生很多数据，很多企业面临着这样的困境，难以有效的管理大量的、繁杂的、不一致的数据，并方便地访问、利用这些数据进行辅助决策。 建立数据仓库提供一个方法，把数据转化为有用的、可信赖的信息，支持商业决策。建立数据仓库一个重要的工作是元数据管理。元数据（Metadata）就是数据的数据，用于建立、管理、维护和使用数据仓库。。元数据管理是企业级数据仓库中的关键组件，贯穿于建立数据仓库的整个过程。 元数据使得用户可以掌握数据的历史情况，如数据从哪里来？流通时间有多长？更新频率是多大？数据元素的含义是什么？对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下，在瞬间万变的商业环境下，元数据可以更好的支持需求的变化，降低项目风险。 通常把元数据分为技术元数据（Technical Metadata）和业务元数据（Business Metadata）。技术元数据是描述关于数据仓库技术细节的数据，这些元数据应用于开发、管理和维护数据仓库；业务元数据从商业和业务的角度描述数据仓库的数据，提供了良好的语义层定义，业务元数据使业务人员能够更好的理解数据仓库分析出来的数据。 元数据贯彻于建立数据仓库的整个过程，不只是ETL过程需要元数据的支持。 图1 元数据的应用 在使用元数据的同时，随着数据仓库市场的发展，业界出现许多数据仓库管理和分析的工具，各种工具使用不同的元数据标准来表示和处理，不同系统之间的迁移、数据交换变得困难。于是，我们希望用一种单一的元数据标准，使得各种组织的元数据具有单一的元模型（MetaModel），因此，需要建立一种标准使得不同的数据仓库和商业智能系统之间可以相互交换元数据。 1.1.2 第二章元数据标准 1.1. 2.1 一、元数据标准CWM OMG于2001年颁布元数据标准CWM 1.0（Common Warehouse Metamodel Version 1.0）。CWM定义一个描述数据源、数据目的、转换、分析的元数据框架，以及定义建立和管理数据仓库的过程和操作，提供使用信息的继承。 目前宣布支持CWM的厂商包括：IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。 CWM基于3个工业标准： UML - Unified Modeling Language，OMG建模标准； MOF - Meta Object Facility，OMG建立元模型和模型库的标准，提供在异构环境下的数据交换的接口； XMI - XML Metadata Interchange，OMG元数据交换标准。 UML在CWM中得到充分的应用，担任3个不同的角色： 1），UML用来做为与MOF对应的meta-metamodel。UML相当于MOF Model,，UML Notation和OCL(Object Constraint Language)，被用来做为建模语言、图形符号、约束语言，

数据仓库系统的体系结构

体系结构 数据源 是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等； 数据的存储与管理 是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。 OLAP(联机分析处理)服务器 对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP（关系型在线分析处理）、MOLAP （多维在线分析处理）和HOLAP（混合型线上分析处理）。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。 数据仓库系统的体系结构 数据仓库系统通常是对多个异构数据源的有效集成，集成后按照主题进行重组，包含历史数据。存放在数据仓库中的数据通常不再修改，用于做进一步的分析型数据处理。 数据仓库系统的建立和开发是以企事业单位的现有业务系统和大量业务数据的积累为基础的。数据仓库不是一个静态的概念，只有把信息适时的交给需要这些信息的使用者，供他们做出改善业务经营的决策，信息才能发挥作用，信息才有

仓库管理系统(数据库)

电子与信息工程学院 课程设计报告 （2018-2019学年第二学期） 课程：面向对象程序设计 软件工程实践（数据库设计与开发）题目：企业仓库管理系统 专业班级： 组别： 小组成员： 指导教师： 完成周数： 2019年7月10日

第一章引言 1.1系统开发的背景 随着计算机的发展，生活中仅仅依靠人工管理商场里面大量的的商品会浪费大部分的人力物力，还会造成较高的人工失误，所以有必要开发一个商场库存管理系统来很大程度上减少失误和不必要的浪费。实现信息数字化管理，提高管理效率，降低经营成本。利用商场库存管理系统可以提高商场的运营，提高总体效率 1.2系统开发的意义与目的 仓库在现实生活中用途十分广泛，各种商城、超市要利用仓库存放物资，药房、医院等要利用仓库存放药品，企业、工厂等要利用仓库存放原材料、生产成品，因此仓库的管理成了一项十分重要的工作。人工管理仓库既费时又费力，而且容易造成混乱，严重时会影响商城、企业的正常运作，造成恶劣的后果。随着计算机技术的发展，如何快速，高效，便捷的管理仓库受到了高度的关注。本系统模拟仓库管理，系统主要针对于日常库存信息的管理，包括物资管理、仓库管理、入库操作、入库査询统计、出库操作、出库查询统计、库存查询统计等处理情況。用户可以通过相应的模块，对仓库里的物品的基本情况和库存数量进行查询，管理员通过简单的操作即可轻松的管理仓库，查询各项相关信息，并能进行入库和出库操作等。通过仓库管理系统的设计与实现，使我们巩固和加深对数据库基础理论和基本知识的理解，进一步掌握了使用数据库进行软件设计的基本思想和方法，提高了运用数据库理论解决实际问题的能力，锻炼了实际动手能力、创新能力，培养了调查研究、查阅技术文献、资料、手册以及编写文档的能力。 1.3开发工具简介 1.3.1数据库系统SQL Servers012： 作为新一代的数据平台产品，SQL Server 2012 不仅延续现有数据平台的强大能力，全面支持云技术与平台，并且能够快速构建相应的解决方案实现私有云

元数据管理

1.前言 数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息，其主要目标是提供数据资源的全面指南。元数据不仅定义了数据仓库中数据的模式、来源以及抽取和转换规则等，而且整个数据仓库系统的运行都是基于元数据的，是元数据把数据仓库系统中的各个松散的组件联系起来，组成了一个有机的整体。2.元数据 2.1 元数据的概念 按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。

业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息。 2.2 元数据的作用 在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：（１）描述哪些数据在数据仓库中；（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（３）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（４）记录并检测系统数据一致性的要求和执行情况；（５）衡量数据质量。 与其说数据仓库是软件开发项目，还不如说是系统集成项目[1]，因为它的主要工作是把所需的数据仓库工具集成在一起，完成数据的抽取、转换和加载，OLAP分析和数据挖掘等。 3.数据仓库元数据管理现状 元数据管理的主要任务有两个方面：一是负责存储和维护元数据库中的元数据；二是负责数据仓库建模工具、数据获取工具、前端工具等之间的消息传递，协调各模