_大数据优化工业4.0

78

软件与服务

Software & Service

2015.6.10ichina

大数据优化工业4.0

一说起工业4.0，很多人会想到智能制造。其实，制造业的转型升级可以概括为三方面：产品智能化、流程的智能化和制造业的互联网化。除制造环节的智能化外，工业4.0还需要信息化水平进一步提升，尤其是互联化和流程的智能化，包括

快速协同、灵活可调整、进行有效率的生产预测，从而形成弹性的生产和更集约的产业集成。因此，大数据在工业4.0中有极大的优化空间。

大数据成就电动汽车

在生产之前的市场调研环节，大数据就可以避免制造企业不走或者少走弯路。以汽车生产为例，特斯拉一直是大众所追捧的创新公司，其生产的电动汽车让粉丝们趋之若鹜。却很少

文 | 本刊记者 石菲

有人知道，早在90年代美国就推出

了电动汽车但却由于没有市场而不得不停产。

上个世纪90年代，美国汽车公司在和日本公司的竞争中全面溃败。这时美国通用汽车公司试图另辟蹊径来夺回被日本人抢走的市场。1990年，通用汽车公司在洛杉矶车展上展出了一款概念车Impact 。

这辆车外观并不吸引人，但是概念先进——它是完全电动的。但是，管理效率低下的通用汽车直到1996年才在市场上正式推出面向消费者的电动汽车EV1。该车只能坐两人，但是重量却和一般的四门房车差不多，因为它的电池很重。

更糟糕的是，它的动力只有100千瓦左右，和小型房车思域或者捷达差不多。EV1第一款采用铅酸充电电池供电，充电一次只能跑100公里，而一般的汽车加满一箱油可以跑500～650公里。到1998年该车停产时，它一共只生产了1117辆，其中只有800辆提供给消

费者，而且是只租不卖。

再来看看特斯拉，与传统汽车制造公司相比，特斯拉更像一家IT 公司。特斯拉在默认情况下为其车辆装备了齐全的设备，并将它们无线连接到企业总部，以便深入分

如此多粉丝的原因。

数据分析优化生产

除了将机器人应用在制造环节外，大数据在生产过程中还可以起到让人意想不到的优化作用。

在某品牌汽车的制造过程中，工厂发现在生产气缸零件时，同样的生产线，其中一条的次品率比别的次品率高。经过抓取非常多的历史基础数据后分析得出，该生产线在下午两点的时候生产的零件次品率比较高。原因在于下午两点的时候阳光照射进来，使生产线温度升高，而这款零件在经过该生产线时是液体状态，经过该生产线的30秒内被固化，但由于温度的升高从而使这个时间段生产的零件比平时发脆，造成了次品率的提升。

在生物制药的生产流程中，制造商通常需要对超过200种以上的变量进行监视，以便确保原料成分的纯净度，同时确保生产出的药品符合标准。由于生物制药生产过程的复杂性，其产量会在50%至100%之间变化，而且还无法马上辨别出原因。在使用大数据分析后，制造商能够对9个最能够影响产量变化的变量进行追踪并分析，最终将疫苗的产量提高了50%，每年在单一疫苗品种上节省的费用就达到500万至1000万美元。

工业4.0的供应链挑战

工业4.0的整个生命周期管理是一个完整的闭环，每一个环节都智能化才能提高产品的创新能力。在工厂的智能化之后，供应链也要智能化，而当供应商、合作伙伴等多条供应链都集成在一起并同样智能之后，才可以称之为真正的工业4.0。

以笔记本生产为例，一台笔记本有超过2万个零部件，如果零件备齐，生产组装只需要2天。笔记本代工厂面临的客户需求变化非常快，有可能会有临时需求产生。比如下周二要增加一批货，本周五就要答复能否生产。在很难进行需求预测的情况下，就要求制造企业能够做到快速反应。

通常情况下，紧急生产需求下达后，生产企业需要先通过ERP系统了解库存状况，这些库存原本是要配合哪几家工厂进行哪些型号的商品生产，哪些车间还有多余的产能能够生产临时性订单。

如果库存不足，还需要进更多的原材料。而这时候可能产生新的内容，库存还差多少？如果临时订货供应商能否有货？能否在规定的时间内送到？这些问题都需要考虑。因此到底要不要接临时单，接这一单要停哪几条常规生产线？到底公司应该怎么样抉择产能？这些都是令制造商头疼的问题。为了应对这种临时性需求，之前制造商会大量囤积原材料。而供应链如果能做到全程透明、可控、快速反应，则这些问题都可以解决，这就需要大数据分析对供应链进行优化。

反过来，大数据还可以为生产制造提供指导。比如飞机制造完毕后要交给航空公司运营，航空公司作为实际商品的使用方会积累大量的数据，这些数据反过来对飞机的生产制造会产生指导作用，如果供应链上的数据没有共享则无法完成优化。

IBM大中华区大数据分析事业部行业解决方案总经理刘咏梅表示，工业4.0是在智能制造的基础上，利用物联网和大数据技术对商品的生产、运输、营销环节进行优化。优化和完善是其中的首要任务，其重要性并不亚于智能化，可以说当工业大数据被充分挖掘，释放其价值后，才可以称之为工业4.0。IBM在全球有很多合作伙伴共同研究物联网等相关领域，业界有一个工业4.0平台组织，IBM是其中的成员，拥有智慧工厂研究平台、数据创新实验室和工业互联网联盟等组织，在其中贡献自己的想法，为工业4.0

贡献自己的力量。

79

大数据技术架构解析

技术架构解析大数作者：匿名出处：论2016-01-22 20:46大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。 一、大数据建设思路 1)数据的获得 大数据产生的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据，这种数据的产生方式是自动的。因此在数据收集方面，要对来自网络包括物联网、社交网络和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。 2)数据的汇集和存储 数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。数据存储要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。 3)数据的管理 大数据管理的技术也层出不穷。在众多技术中，有6种数据管理技术普遍被关注，即分布式存储与计算、内存数据库技术、列式数据库技术、云数据库、非关系型的数据库、移动数据库技术。其中分布式存储与计算受关注度最高。上图是一个图书数据管理系统。 4)数据的分析 数据分析处理：有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。大数据的处理类型很多，主要的处理模式可以分为流处理和批处理两种。批处理是先存储后处理，而流处理则是直接处理数据。挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。 5)大数据的价值：决策支持系统 大数据的神奇之处就是通过对过去和现在的数据进行分析，它能够精确预测未来;通过对组织内部的和外部的数据整合，它能够洞察事物之间的相关关系;通过对海量数据的挖掘，它能够代替人脑，承担起企业和社会管理的职责。 6)数据的使用 大数据有三层内涵：一是数据量巨大、来源多样和类型多样的数据集;二是新型的数据处理和分三是运用数据分析形成价值。大数据对科学研究、经济建设、社会发展和文化生活等各个领;析技术 域正在产生革命性的影响。大数据应用的关键，也是其必要条件，就在于?屔与经营的融合，当然，这里的经营的内涵可以非常广泛，小至一个零售门店的经营，大至一个城市的经营。 二、大数据基本架构 基于上述大数据的特征，通过传统IT技术存储和处理大数据成本高昂。一个企业要大力发展大数据应用首先需要解决两个问题：一是低成本、快速地对海量、多类别的数据进行抽取和存储;二是使用新的技术对数据进行分析和挖掘，为企业创造价值。因此，大数据的存储和处理与云计算技术密不可分，在当前的技

如何优化数据库,提高查询效率

龙源期刊网 https://www.sodocs.net/doc/5913716693.html, 如何优化数据库，提高查询效率 作者：代鸿彬 来源：《学习与科普》2019年第10期 摘要：随着信息时代的到来，生活和工作当中已经无法避免的需要和计算机打交道，和 计算机打交道的同时就必须要用到数据库。数据库系统是计算机当中的一项重要系统，储存在用户的关键信息，不仅对个人影响很大，同时对企事业单位也有着重要影响。 关键词：信息时代；数据库；索引 数据库是信息的载体也是数据的最佳表现形式，它的共享性导致了数据会被大量的搜索查询，为了提高查询的效率，就不得不对数据库进行优化。 一、利用索引进行优化。 索引是数据库的重要组成部分，也是使用者根据需要进行查询最直接的方法，优化索引可以提高查询的效率。当前的数据库当中大部分还是使用国际商业机器公司以前的索引顺序存取方法，对于用户来说肯定会选择方便、快捷的索引方式，怎么方便怎么来。在建立索引的时候针对不同的内容，需要建立不同的连接方式，但是随着用户的增多，查询内容和方向的多元化，这就造成了在实际工作当中经常会有使用频率很少的索引出现，甚至也会出现没有查询所需的索引，这种情况可以通过查询优化器进行自动生成的索引进行查询。对于使用频率较为频繁的列，需要对其进行排序或者分组的列上建立索引时，要优化索引提高效率，对于使用频率很少的列可以不建立索引。 二、简化排序进行优化。 对于部分企事业单位需要排序的内容很多时，就要使用大型数据表来满足查询需求，但是大型数据表涉及的内容很多，为了避免出现重复排序的现象需要对数据表进行简化。在大型数据表当中有一部分的内容可以自动进行排序的次序输出，这时就可以直接利用查询优化器进行优化，将复杂的排序简单化，从而提高索引查询效率。需要排序的列对索引优化影响较大，就像语言当中的ORDER BY 或者GROUP BY句子当中的列次序和索引当中的列次序基本是不同的，但是排序的列可通过表的不同形式表现出来。通过简化排序避免了重复的排序，并且将数据库进行了合理的合并。如果不进行简化排序，就需要将排序的范围进行缩小简化，从而提高查询使用的效率。 三、大型表行数据库存取的合理消除。 数据库系统的存储量是有上限的，所有的索引内容都占有数据库空间，尤其是大型数据表占有的空间更大，将会造成索引时间变长。但是大型表行数据有些内容是不必要的，在进行索引查詢时，数据表当中的存取顺序对查询的效率有直接的影响。例如需要采用存取策略时，通

8种有效降低数据中心能耗的方法

随着新一代数据中心建设浪潮的兴起，随着企业机房里服务器的密度越来越高、数量越来越大，电力消耗和散热能力正在成为企业IT管理员重点关注的问题，数据中心所消耗的电力以及要冷却这些被转化为热量的电力消耗都达到了越来越高的水平。电力的巨大消耗带来各种严峻问题，巨额的电力成本会让企业的整体成本上升，并且，相对而言在一段时期内任何一个数据中心的电力供给都是有限的，所以即便是通过增加硬件来力求平衡，最终页仍然要面对电力供给与占地面积的问题，在日益倡导绿色环保和严格审核的低碳时代，降低数据中心的能耗极为必要。 在保证数据中心基础设施的最低电力供给的同时又能显著减少电力消耗与电力成本的方法有以下这些： 1、服务器虚拟化 服务器的电力消耗占整个数据中心电力消耗的一半左右，虚拟化技术让一台物理服务器可以运行多个多个虚拟主机，这让单独服务器的计算资源可以被多个环境共享，通过调整服务器的负载，可以让计算资源得到充分利用。降低二氧化碳排放量，降低管理和运营成本。 服务器虚拟化技术降低成本是非常明显的，平均来说，以一个月为周期，和应用多台服务器的非虚拟化站点相比，应用虚拟化技术的服务器站点在数据流量、能耗、受攻击威胁和总体拥有成本只有前者的10%。 虚拟化技术让企业更加绿色，运行多台服务器会产生大量的热量，并需要额外的能耗进行冷却。通过虚拟化技术，30台服务器可以整合到3台，这可以降低15至30吨的二氧化碳排放量——相当于在公路上减少7辆汽车。 2、采用现代化冷却系统 HVAC系统通常是数据中心第二大耗电系统，据Data Center Users Group估计，消耗的电能占数据中心能源消耗的37%。空气调节系统只有在处理小范围时才能到达较高效率，面对大规模的数据中心，多数冷却系统的冷却任务都无法最优化处理，冷却效率非常低。通常，用现代化、模块化和更高效的组件替代一些传统空调设备进行冷却处理可以节约大量电能。 在气候条件便利的情况下，采用类似用外部冷空气替代电力系统来进行冷却等更节能的方式，将可以更加节约电能。 3、重组数据中心 数据中心的数量和规模的扩大在过去的几年中非常明显，而服务器则被随处安装，非常缺乏计划性。这导致了数据中心的发热与散热不均，超载的IT环境也很难保证冷却系统的最优化运行。 对数据中心服务器的物理位置进行重组，例如配置冷、热通道，都可以显著减少冷却系

大数据平台架构~巨衫

1.技术实现框架 1.1大数据平台架构 1.1.1大数据库是未来提升业务能力的关键要素 以“大数据”为主导的新一波信息化浪潮正席卷全球，成为全球围加速企业技术创新、推动政府职能转变、引领社会管理变革的利器。目前，大数据技术已经从技术研究步入落地实施阶段，数据资源成为未来业务的关键因素。通过采集和分析数据，我们可以获知事物背后的原因，优化生产/生活方式，预知未来的发展动态。 经过多年的信息化建设，省地税已经积累了丰富的数据资源，为下一步的优化业务、提升管理水平，奠定了坚实的基础。 未来的数据和业务应用趋势，大数据才能解决这些问题。 《1.巨杉软件SequoiaDB产品和案例介绍 v2》P12 “银行的大数据资产和应用“，说明税务数据和业务分析，需要用大数据解决。 《1.巨杉软件SequoiaDB产品和案例介绍 v2》P14 “大数据与传统数据处理”，说明处理模式的差异。 1.1.2大数据平台总体框架 大数据平台总体技术框架分为数据源层、数据接口层、平台架构层、分析工具层和业务应用层。如下图所示：

（此图要修改，北明） 数据源层：包括各业务系统、服务系统以及社会其它单位的结构化数据和非结构化数据； 数据接口层：是原始数据进入大数据库的入口，针对不同类型的数据，需要有针对性地开发接口，进行数据的缓冲、预处理等操作； 平台架构层：基于大数据系统存储各类数据，进行处理？； 分析工具层：提供各种数据分析工具，例如：建模工具、报表开发、数据分析、数据挖掘、可视化展现等工具； 业务应用层：根据应用领域和业务需求，建立分析模型，使用分析工具，发现获知事物背后的原因，预知未来的发展趋势，提出优化业务的方法。例如，寻找服务资源的最佳配置方案、发现业务流程中的短板进行优化等。 1.1.3大数据平台产品选型 针对业务需求，我们选择巨杉数据库作为大数据基础平台。

大数据库优化(SQLServer)

SQL SERVER性能优化综述 近期因工作需要，希望比较全面的总结下SQL SERVER数据库性能优化相关的注意事项，在 网上搜索了一下,发现很多文章,有的都列出了上百条,但是仔细看发现，有很多似是而非或 者过时(可能对SQL SERVER6.5以前的版本或者ORACLE是适用的)的信息，只好自己根据以 前的经验和测试结果进行总结了。 我始终认为，一个系统的性能的提高，不单单是试运行或者维护阶段的性能调优的任务，也不单单是开发阶段的事情，而是在整个软件生命周期都需要注意，进行有效工作才能达到的。所以我希望按照软件生命周期的不同阶段来总结数据库性能优化相关的注意事项。 一、分析阶段 一般来说，在系统分析阶段往往有太多需要关注的地方，系统各种功能性、可用性、可靠性、安全性需求往往吸引了我们大部分的注意力，但是，我们必须注意，性能是很重要的非功能 性需求，必须根据系统的特点确定其实时性需求、响应时间的需求、硬件的配置等。最好能 有各种需求的量化的指标。 另一方面，在分析阶段应该根据各种需求区分出系统的类型，大的方面，区分是OLTP（联机事务处理系统）和OLAP（联机分析处理系统）。 二、设计阶段 设计阶段可以说是以后系统性能的关键阶段，在这个阶段，有一个关系到以后几乎所有性能 调优的过程—数据库设计。 在数据库设计完成后，可以进行初步的索引设计，好的索引设计可以指导编码阶段写出高效 率的代码，为整个系统的性能打下良好的基础。 以下是性能要求设计阶段需要注意的： 1、数据库逻辑设计的规范化 数据库逻辑设计的规范化就是我们一般所说的范式，我们可以这样来简单理解范式： 第1规范：没有重复的组或多值的列，这是数据库设计的最低要求。 第2规范: 每个非关键字段必须依赖于主关键字，不能依赖于一个组合式主关键字的某些组 成部分。消除部分依赖，大部分情况下，数据库设计都应该达到第二范式。 第3规范: 一个非关键字段不能依赖于另一个非关键字段。消除传递依赖，达到第三范式应该是系统中大部分表的要求，除非一些特殊作用的表。 更高的范式要求这里就不再作介绍了，个人认为，如果全部达到第二范式，大部分达到第三

Web网站大数据量的性能解决方案

W eb网站大数据量的性能解决方案 随着中国大型IT企业信息化速度的加快，大部分应用的数据量和访问量都急剧增加，大型企业网站正面临性能和高数据访问量的压力，而且对存储、安全以及信息检索等等方面都提出了更高的要求…… 本文中，我想通过几个国外大型IT企业及网站的成功案例，从Web技术人员角度探讨如何积极地应对国内大型网站即将面临的扩展（主要是技术方面，而较少涉及管理及营销等方面）矛盾。 一、国外大型IT网站的成功之道 (一)MySpace 今天，MySpace已经成为全球众口皆碑的社区网站之王。尽管一流和营销和管理经验自然是每个IT企业取得成功的首要因素，但是本节中我们却抛弃这一点，而主要着眼于探讨在数次面临系统扩张的紧急关头MySpace是如何从技术方面采取应对策略的。 第一代架构—添置更多的Web服务器 MySpace最初的系统很小，只有两台Web服务器（分担处理用户请求的工作量）和一个数据库服务器（所有数据都存储在这一个地方）。那时使用的是Dell双CPU、4G内存的系统。在早期阶段，MySpace基本是通过添置更多Web服务器来对付用户暴增问题的。但到在2004年早期，在MySpace用户数增长到五十万后，其数据库服务器已经开始疲于奔命了。 第二代架构—增加数据库服务器 与增加Web服务器不同，增加数据库并没那么简单。如果一个站点由多个数据库支持，设计者必须考虑的是，如何在保证数据一致性的前提下让多个数据库分担压力。MySpace 运行在三个SQL Server数据库服务器上—一个为主，所有的新数据都向它提交，然后由它复制到其它两个；另两个数据库服务器全力向用户供给数据，用以在博客和个人资料栏显示。这种方式在一段时间内效果很好——只要增加数据库服务器，加大硬盘，就可以应对用户数和访问量的增加。 这一次的数据库架构按照垂直分割模式设计，不同的数据库服务于站点的不同功能，如登录、用户资料和博客。垂直分割策略利于多个数据库分担访问压力，当用户要求增加新功能时，MySpace只需要投入新的数据库加以支持。在账户到达二百万后，MySpace还从存储设备与数据库服务器直接交互的方式切换到SAN（存储区域网络）—用高带宽、专门设计的网络将大量磁盘存储设备连接在一起，而数据库连接到SAN。这项措施极大提升了系统性能、正常运行时间和可靠性。然而，当用户继续增加到三百万后，垂直分割策略也变得难以维持下去。 第三代架构—转到分布式计算架构 几经折腾，最终，MySpace将目光移到分布式计算架构——它在物理上分布的众多服务器，整体必须逻辑上等同于单台机器。拿数据库来说，就不能再像过去那样将应用拆分，再以不同数据库分别支持，而必须将整个站点看作一个应用。现在，数据库模型里只有一个用

数据库性能优化基础步骤

1性能优化基本步骤 1.1定位跟踪耗费资源较多的SQL语句步骤 1.1.1 通过SQL查询 (1): 查询出最耗费资源的SQL语句 select t1.SID, t1.SERIAL#, tt.HASH_VALUE, tt.ADDRESS, tt.BUFFER_GETS, --读内存次数 tt.DISK_READS, --磁盘物理读次数 tt.EXECUTIONS, --语句的执行次数 tt.BUFFER_GETS / tt.EXECUTIONS, --平均读内存次数 tt.SQL_FULLTEXT from v$sqlareatt, v$session t1 where (tt.BUFFER_GETS>100000 or tt.DISK_READS>100000) and tt.HASH_VALUE = t1.SQL_HASH_VALUE and tt.ADDRESS = t1.SQL_ADDRESS and t1.STATUS = 'ACTIVE' orderby tt.BUFFER_GETS desc (2)：根据客户端程序发出的SQL来定位需要跟踪的session select s.sid sid, s.SERIAL# "serial#", https://www.sodocs.net/doc/5913716693.html,ername, s.machine, s.program, s.server, s.LOGON_TIME from v$session s 1.1.2 通过Oracle提供的SQL TRACE进行SQL跟踪 (1)：跟踪前设定相应参数 1．查询得到需要跟踪的session 2．打开时间开关

Show parameter timed_statistics alter session set timed_statistics=true; execsys.dbms_system.set_bool_param_in_session(sid => 8,serial# => 3,parnam => 'timed_statistics',bval => true); 3．设置跟踪文件存放位置 Show parameter user_dump_dest alter system set user_dump_dest='c:\temp'; (2)：启动跟踪功能并让系统运行一段时间 alter session set sql_trace=true; execsys.dbms_system.set_sql_trace_in_session(8, 3, true); (3)：关闭跟踪功能 alter session set sql_trace=false; execsys.dbms_system.set_sql_trace_in_session(8, 3, false); (4)：格式化跟踪数据文件，并分析跟踪结果文件 tkprof dsdb2_ora_18468.trc dsdb2_trace.txt EXPLAIN=SCOTT/TIGER tkprof各参数含义： ' traced_file ' 指定输入文件，即oracle产生的trace文件 'formatted_file'指定输出文件，即我们想得到的易于理解的格式化文件 'EXPLAIN' 利用哪个用户对trace文件中的sql进行分析得到该sql语句的执行计划1.2查看分析执行计划 1.2.1查看执行计划 (1)：Sqlplus中可按F5查看执行计划 (2)：使用执行计划表进行查看 使用语句将SQL语句的执行计划装入plan_table表，然后进行分析查看explainplansetstatement_id = 'dd'into plan_table for select t.type_name,t.source_value,t.standard_value from ODS_STD_COMP t,ODS_STD_COMP_BAK t1 where t.system_id = t1.system_id and t.type = t1.type and t.source_value = t1.source_value (3)：示例演示 1．让ORALCE自动选择最优的执行计划，不人为干预 explainplansetstatement_id = 'dd'into plan_table for select t.type_name,t.source_value,t.standard_value from ODS_STD_COMP t,ODS_STD_COMP_BAK t1 where t.system_id = t1.system_id and t.type = t1.type and t.source_value = t1.source_value

数据中心能效管理多目标优化策略研究

数据中心能效管理多目标优化策略研究 在大数据的时代背景下,随着云计算技术在全世界的快速普及和发展,云数据中心的基础设施和相关配套设施的数量也在高速地增长。数据中心大量的计算密集型和数据密集型操作需要快速有效地响应,以保证数据中心的正常运转。海量服务器间的协同配合会产生大量的能源消耗,同时,数据中心对于能源的利用率还待提高,这样就对云数据中心运营成本造成巨大的浪费。因此,云数据中心的能耗问题亟待解决。 当前,云数据中心的能耗问题得到了国内外学者的广泛关注,主要的解决策略分为硬件节能和软件节能策略两个方面,在软件节能方面,其中的虚拟化技术已经被证实是解决云数据中心能耗问题的有效途径,也是本文的关注重点。本文主要聚焦于虚拟机选择和虚拟机分配过程。实时虚拟机(VM)整合是提高绿色数据中心能效管理水平的有效方法。目前,绿色数据中心的能耗评估模型是以CPU占用率为主要的影响因素。 然而,由于GPU的密集处理产生巨大的能耗,原有的能耗评估模型并不适合于数据密集型计算。在本文中,我们提出了基于CPU和GPU利用率的一种新的能效管理评估模型,并提出两种实时动态迁移虚拟机的策略:一个应用于虚拟机选择,另一个应用于虚拟机分配。一些研究人员已经分别基于VM选择策略或VM分配政策提出了自己的解决方案。然而,将虚拟机选择和虚拟机分配这两个策略集成在一起,将会得到一个更为高效的实时动态迁移的虚拟机整合策略。 基于此,一个快速的基于人工蜂群算法(ABC)的实时VM整合策略被提出,并结合适合数据密集型计算的能耗评估模型共同组成DataABC策略。DataABC采用了人工蜂群算法的思想,从而得到一个快速并且具有全局优化特点的虚拟机迁移策略。与其他经典的虚拟机整合策略相比,DataABC的总能耗下降明显。在虚拟机分配过程中,传统的分配策略存在着分配速度难以满足数据密集型作业要求的特点,以及容易陷入局部最优等现象。 因此,为了满足数据密集型作业对于响应速度的需要,本文引入梯度下降算法,加快人工蜂群算法搜寻局部最优解的速度,同时引入模拟退火算法,加强人工蜂群算法搜寻全局近似最优解的能力,使空闲节点关闭或者休眠来达到节能的目的,从而减少了能源消耗,提高了资源使用效率,减少了数据中心的运营成本。研

数据库设计与优化

一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器端程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性能在降低，这时再来考虑提高系统性能则要花费更多的人力物力，而整个系统也不可避免的形成了一个打补丁工程。 所以在考虑整个系统的流程的时候，我们必须要考虑，在高并发大数据量的访问情况下，我们的系统会不会出现极端的情况。（例如：对外统计系统在7月16日出现的数据异常的情况，并发大数据量的访问造成，数据库的响应时间不能跟上数据刷新的速度。具体情况是：在日期临界时（00：00：00），判断数据库中是否有当前日期的记录，没有则插入一条当前日期的记录。在低并发访问的情况下，不会发生问题，但是在当日期临界时的访问量相当大，且在做这一判断的时候，会出现多次条件成立，则数据库里会被插入多条当前日期的记录，从而造成数据错误。），数据库的模型确定下来之后，我们有必要做一个系统内数据流向图，分析可能出现的瓶颈。 为了保证数据库的一致性和完整性，在逻辑设计的时候往往会设计过多的表间关联，尽可能的降低数据的冗余。（例如用户表的地区，我们可以把地区另外存放到一个地区表中）如果数据冗余低，数据的完整性容易得到保证，提高了数据吞吐速度，保证了数据的完整性，清楚地表达数据元素之间的关系。而对于多表之间的关联查询（尤其是大数据表）时，其性能将会降低，同时也提高了客户端程序的编程难度，因此，物理设计需折衷考虑，根据业务规则，确定对关联表的数据量大小、数据项的访问频度，对此类数据表频繁的关联查询应适当提高数据冗余设计但增加了表间连接查询的操作，也使得程序的变得复杂，为了提高系统的响应时间，合理的数据冗余也是必要的。设计人员在设计阶段应根据系统操作的类型、频度加以均衡考虑。 另外，最好不要用自增属性字段作为主键与子表关联，不便于系统的迁移和数据恢复。 原来的表格必须可以通过由它分离出去的表格重新构建。使用这个规定的好处是，你可以确保不会在分离的表格中引入多余的列，所有你创建的表格结构都与它们的实际需要一样大。应用这条规定是一个好习惯，不过除非你要处理一个非常大型的数据，否则你将不需要用到它。（例如一个通行证系统，我可以将USERID，USERNAME，USERPASSWORD，单独出来做个表，再把USERID作为其他表的外键） 表的设计具体注意的问题： 1、数据行的长度不要超过8020字节，如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片，降低查询效率。 2、能够用数字类型的字段尽量选择数字类型而不用字符串类型的（电话号码），这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接回逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。 3、对于不可变字符类型char和可变字符类型varchar 都是8000字节，char 查询快，但是耗存储空间，varchar查询相对慢一些但是节省存储空间。在设计

深入浅出解析大数据平台架构

目录： 什么是大数据 Hadoop介绍-HDFS、MR、Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 “就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式……”。 大数据的4V特征-来源 公司的“大数据” 随着公司业务的增长，大量和流程、规则相关的非结构化数据也爆发式增长。比如： 1、业务系统现在平均每天存储20万张图片，磁盘空间每天消耗100G; 2、平均每天产生签约视频文件6000个，每个平均250M，磁盘空间每天消耗1T; …… 三国里的“大数据” “草船借箭”和大数据有什么关系呢?对天象的观察是基于一种对风、云、温度、湿度、光照和所处节气的综合分析这些数据来源于多元化的“非结构”类型，并且数据量较大，只不过这些数据输入到的不是电脑，而是人脑并最终通过计算分析得出结论。

Google分布式计算的三驾马车 Google File System用来解决数据存储的问题，采用N多台廉价的电脑，使用冗余(也就是一份文件保存多份在不同的电脑之上)的方式，来取得读写速度与数据安全并存的结果。 Map-Reduce说穿了就是函数式编程，把所有的操作都分成两类，map与reduce，map用来将数据分成多份，分开处理，reduce将处理后的结果进行归并，得到最终的结果。 BigTable是在分布式系统上存储结构化数据的一个解决方案，解决了巨大的Table的管理、负载均衡的问题。 Hadoop体系架构 Hadoop核心设计

HDFS介绍-文件读流程 Client向NameNode发起文件读取的请求。 NameNode返回文件存储的DataNode的信息。 Client读取文件信息。 HDFS介绍-文件写流程

数据中心能耗分析

数据中心能耗实例分析 前言：本文着重分析了影响数据中心能耗的因素，从数据中心的空调、UPS、运维等方面对其能耗进行了综合分析。本文认为影响数据中心能耗的关键因素是空调系统，并以2个数据中心的空调系统为例，结合作者在数据中心建设和运维中的经验，提出了数据中心节能的建议。 一、数据中心节能的必要性 近年国内大型数据中心的建设呈现快速增长的趋势，金融、通信、石化、电力等大型国企、政府机构纷纷建设自己的数据中心及灾备中心。随着物联网、云计算及移动互联概念的推出，大批资金投资到商业IDC的建设中。数据中心对电力供应产生了巨大的影响，已经成为一个高耗能的产业。在北京数据中心较集中的几个地区，其电力供应都出现饱和的问题，已无法再支撑新的数据中心。目前某些数据中心移至西北等煤炭基地，利用当地电力供应充足、电价低的优势也不失为一个明智的选择。 随着数据中心的不断变大，绿色节能数据中心已经由概念走向实际。越来越多的数据中心在建设时将PUE值列为一个关键指标，追求更低的PUE值，建设绿色节能数据中心已经成为业内共识。例如，微软公司建在都柏林的数据中心其PUE值为1.25。据最新报道Google公司现在已经有部分数据中心的PUE降低到1.11。而我们国内的PUE平均值基本在1.8~2.0，中小规模机房的PUE值更高，大都在2.5以上。我们在数据中心绿色节能设计方面与国外还存在很大差距，其设计思想及理念非常值得我们借鉴。 根据对国内数据中心的调查统计，对于未采用显著节能措施的数据中心，面积为1000平方米的机房，其每年的用电量基本都在500多万kWH左右。因此对于新建的大型数据中心，节能的必要性十分重要。 从各大数据中心对电力的需求来看，数据中心已经成为重要的高耗能产业而非“无烟工业”，建设绿色、节能的数据中心急需从概念走向实际。 二、影响数据中心能耗的因素 数据中心的能耗问题涉及到多个方面，主要因素当然是空调制冷系统，但UPS、机房装修、照明等因素同样影响着数据中心的能耗，甚至变压器、母线等选型也影响着能耗。例如，对UPS而言，根据IT设备的实际负荷选择合理的UPS 容量，避免因UPS效率过低而产生较大的自身损耗。同时，选择更加节能的高频UPS、优化UPS拓扑结构都可起到节能的效果。 1、UPS对数据中心能耗的影响 UPS主机的自身损耗是影响数据中心能耗的一项重要因素。提高UPS的工作

数据库查询优化实验报告_SQLServer2008

SQL Server 2008数据查询的优化方法研究摘要 随着数据存储需求的日益增长，对关系数据的管理和访问就成为数据库技术必须解决的问题。本文主要论述关系数据库查询优化技术，并从它的优化技术进行深入探讨，对系统实现做了一定的论述，并进行了部分的程序实现。 关键词：数据库查询系统优化 引言 SQLServer是是由微软公司开发的基于Windows操作系统的关系型数据库管理系统，它是一个全面的、集成的、端到端的数据解决方案，为企业中的用户提供了一个安全、可靠和高效的平台用于企业数据管理和商业智能应用。目前，许多中小型企业的数据库应用系统都是用SQLServer作为后台数据库管理系统设计开发的。设计一个应用系统并不难，但是要想使系统达到最优化的性能并不是一件容易的事。根据多年的实践，由于初期的数据库中表的记录数比较少，性能不会有太大问题，但数据积累到一定程度，达到数百万甚至上千万条，全面扫描一次往往需要数十分钟，甚至数小时。20％的代码用去了80％的时间，这是程序设计中的一个著名定律，在数据库应用程序中也同样如此。如果用比全表扫描更好的查询策略，往往可以使查询时间降为几分钟。而且我们知道，目前数据库系统应用中，查询操作占了绝大多数，查询优化成为数据库性能优化最为重要的手段之一。 影响查询效率的因素 SQLServer处理查询计划的过程是这样的：在做完查询语句的词法、语法检查之后，将语句提交给SQLServer的查询优化器，查询优化器通过检查索引的存在性、有效性和基于列的统计数据来决定如何处理扫描、检索和连接，并生成若干执行计划，然后通过分析执行开销来评估每个执行计划，从中选出开销最小的执行计划,由预编译模块对语句进行处理并生成查询规划，然后在合适的时间提交给系统处理执行，最后将执行结果返回给用户。所以，SQLServer中影响查询效率的因素主要有以下几种： 1．没有索引或者没有用到索引。索引是数据库中重要的数据结构，使用索引的目的是避免全表扫描，减少磁盘I/O，以加快查询速度。 2．没有创建计算列导致查询不优化。 3．查询出的数据量过大（可以采用多次查询，其他的方法降低数据量）。 4．返回了不必要的行和列。 5．查询语句不好，没有优化。其中包括：查询条件中操作符使用是否得当;查询条件中的数据类型是否兼容;对多个表查询时,数据表的次序是否合理;多个选择条件查询时,选择条件的次序是否合理;是否合理安排联接选择运算等。 SQLServer数据查询优化方法 1、避免使用不兼容的数据类型。例如float和int、char和varchar、binary和varbinary 是不兼容的。数据类型的不兼容可能使优化器无法执行一些本来可以进行的优化操作。例如: select name from employee where salary ＞60000

大数据技术架构解析

大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。 一、大数据建设思路 1)数据的获得 大数据产生的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据，这种数据的产生方式是自动的。因此在数据收集方面，要对来自网络包括物联网、社交网络和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。 2)数据的汇集和存储 数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。数据存储要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。 3)数据的管理 大数据管理的技术也层出不穷。在众多技术中，有6种数据管理技术普遍被关注，即分布式存储与计算、内存数据库技术、列式数据库技术、云数据库、非关系型的数据库、移动数据库技术。其中分布式存储与计算受关注度最高。上图是一个图书数据管理系统。 4)数据的分析 数据分析处理：有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。大数据的处理类型很多，主要的处理模式可以分为流处理和批处理两种。批处理是先存储后处理，而流处理则是直接处理数据。挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。 5)大数据的价值：决策支持系统 大数据的神奇之处就是通过对过去和现在的数据进行分析，它能够精确预测未来;通过对组织内部的和外部的数据整合，它能够洞察事物之间的相关关系;通过对海量数据的挖掘，它能够代替人脑，承担起企业和社会管理的职责。 6)数据的使用 大数据有三层内涵：一是数据量巨大、来源多样和类型多样的数据集;二是新型的数据处理和分析技术;三是运用数据分析形成价值。大数据对科学研究、经济建设、社会发展和文化生活等各个领

数据中心能耗分析

数据中心能耗分析 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】

数据中心能耗实例分析前言：本文着重分析了影响数据中心能耗的因素，从数据中心的空调、UPS、运维等方面对其能耗进行了综合分析。本文认为影响数据中心能耗的关键因素是空调系统，并以2个数据中心的空调系统为例，结合作者在数据中心建设和运维中的经验，提出了数据中心节能的建议。 一、数据中心节能的必要性 近年国内大型数据中心的建设呈现快速增长的趋势，金融、通信、石化、电力等大型国企、政府机构纷纷建设自己的数据中心及灾备中心。随着物联网、云计算及移动互联概念的推出，大批资金投资到商业IDC的建设中。数据中心对电力供应产生了巨大的影响，已经成为一个高耗能的产业。在北京数据中心较集中的几个地区，其电力供应都出现饱和的问题，已无法再支撑新的数据中心。目前某些数据中心移至西北等煤炭基地，利用当地电力供应充足、电价低的优势也不失为一个明智的选择。 随着数据中心的不断变大，绿色节能数据中心已经由概念走向实际。越来越多的数据中心在建设时将PUE值列为一个关键指标，追求更低的PUE值，建设绿色节能数据中心已经成为业内共识。例如，微软公司建在都柏林的数据中心其PUE值为。据最新报道Google公司现在已经有部分数据中心的PUE降低到。而我们国内的PUE平均值基本在~，中小规模机房的PUE值更高，大都在以上。我们在数据中心绿色节能设计方面与国外还存在很大差距，其设计思想及理念非常值得我们借鉴。

根据对国内数据中心的调查统计，对于未采用显着节能措施的数据中心，面积为1000平方米的机房，其每年的用电量基本都在500多万kWH左右。因此对于新建的大型数据中心，节能的必要性十分重要。 从各大数据中心对电力的需求来看，数据中心已经成为重要的高耗能产业而非“无烟工业”，建设绿色、节能的数据中心急需从概念走向实际。 二、影响数据中心能耗的因素 数据中心的能耗问题涉及到多个方面，主要因素当然是空调制冷系统，但UPS、机房装修、照明等因素同样影响着数据中心的能耗，甚至变压器、母线等选型也影响着能耗。例如，对UPS而言，根据IT设备的实际负荷选择合理的UPS 容量，避免因UPS效率过低而产生较大的自身损耗。同时，选择更加节能的高频UPS、优化UPS拓扑结构都可起到节能的效果。 1、UPS对数据中心能耗的影响 UPS主机的自身损耗是影响数据中心能耗的一项重要因素。提高UPS的工作效率,可以为数据中心节省一大笔电费。下图为某大型UPS主机的效率曲线。从该曲线中可以看出，当UPS负荷超过30%时UPS的效率才接近90%。很多数据中心在投运初期IT负荷较少，在相当长的时间内负荷不足20%。在此情况下UPS的效率仅仅为80%左右，UPS的损耗非常大。因此，在UPS配置中尽量选择多机并联模式，避免大容量UPS单机运行模式。例如，可以用两台300kVA UPS并联运行的模式代替一台600kVA UPS单机运行模式。其优点在于IT负荷较少时只将一台300kVA UPS投入运行，另一台UPS不工作，待IT负荷增加后再投入运行。这种UPS配置方案及运行模式可以提高UPS效率，降低机房能耗。 2、供配电系统对数据中心能耗的影响

大数据 技术架构解析

大数据技术架构解析 作者：匿名出处：论坛2016-01-22 20:46 大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。 一、大数据建设思路 1)数据的获得 大数据产生的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据，这种数据的产生方式是自动的。因此在数据收集方面，要对来自网络包括物联网、社交网络和机构信息系统的数据附上时空标志，去伪存

真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。 2)数据的汇集和存储 数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。数据存储要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。 3)数据的管理

4)数据的分析

5)大数据的价值：决策支持系统

大数据的神奇之处就是通过对过去和现在的数据进行分析，它能够精确预测未来;通过对组织内部的和外部的数据整合，它能够洞察事物之间的相关关系;通过对海量数据的挖掘，它能够代替人脑，承担起企业和社会管理的职责。 6)数据的使用

数据中心能效提升办法及建议

数据中心能效提升办法及建议 摘要 在数据中心的总拥有成本 (TCO) 中，电力使用成本所占比重越来越大。通过合理地设计网络 关键物理基础设施以及精心设计 IT 架构，可以大幅降低典型数据中心的电能消耗。本问阐述如何 量化电力节约，并举例说明大幅降低电能消耗的方法。 电能的使用不是数据中心的典型设计标准，也没有作为一项开支得到有效管理。在数据中心 的生命周期内，尽管电能成本可能会超过包括 UPS 在内的电源系统的成本，也可能会超过 IT 设备 的成本，但上述情况却是不争的事实。出现这种情况的原因如下： ?要缴纳的电费数额是在费用发生后才知道的，与任何特定决策或操作规程没有明确的联系。因此，这些费用被视为是无法避免的。 ?用于为数据中心的电力成本建模的工具不普及，在数据中心的设计过程中并未广泛使用。 ?需要缴纳的电费通常不包括在数据中心运营组的责任或预算范围内。 ?数据中心的电费帐单可能包含在更大的电费帐单之内，而可能无法单独提供。 ?决策者在进行规划和采购决策的过程中，未获得有关电力成本影响的充足信息。本文将证 明上述所有问题均可以并应该得到解决，因为这样可以为一般用户节约大量资金。 在设计新设施时可以实现最大程度的节约，但现有的和改造的设施也可以实现某种程度的节约。在设计新数据中心的过程中，只需进行简单且不需成本的决策，便可以节约 20-50% 的电费；如果系统化进行设计，则可以减少多达 90% 的电费。 能源消耗在什么地方？ 数据中心使用的能源只有大约一半甚至不足一半消耗在 IT 负载上。另一半消耗在包括电源设备、冷却设备和照明设施在内的数据中心物理基础设施 (DCPI) 设备上。图 1 显示了典型高可用性 数据中心中电能的流向。需要注意的是，数据中心消耗的所有能源最终都会以废热的形式排放到 室外大气中。图 1 是根据采用 2N 电源设备和 N+1 冷却设备、在大约 30% 的额定容量下工作的典 型数据中心。

数据库优化

关于数据库优化方面的文章很多，但是有的写的似是而非，有的不切实际，对一个数据库来说，只能做到更优，不可能最优，并且由于实际需求不同，优化方案还是有所差异，根据实际需要关心的方面（速度、存储空间、可维护性、可拓展性）来优化数据库，而这些方面往往又是相互矛盾的，下面结合网上的一些看法和自己的一些观点做个总结。 一个系统的性能的提高，不单单是试运行或者维护阶段的性能调优，也不单单是开发阶段的事情，而是在整个软件生命周期都需要注意。所以我希望按照软件生命周期的不同阶段来总结数据库性能优化相关的注意事项。 一、分析阶段 一般来说，在系统分析阶段往往有太多需要关注的地方，系统各种功能性、可用性、可靠性、安全性需求往往吸引了我们大部分的注意力，但是，我们必须注意，性能是很重要的非功能性需求，必须根据系统的特点确定其实时性需求、响应时间的需求、硬件的配置等。最好能有各种需求的量化的指标。 另一方面，在分析阶段应该根据各种需求区分出系统的类型，大的方面，区分是OLTP(联机事务处理系统)和OLAP(联机分析处理系统)。 二、设计阶段 设计阶段可以说是以后系统性能的关键阶段，在这个阶段，有一个关系到以后几乎所有性能调优的过程—数据库设计。 在数据库设计完成后，可以进行初步的索引设计，好的索引设计可以指导编码阶段写出高效率的代码，为整个系统的性能打下良好的基础。 以下是性能要求设计阶段需要注意的： 1、数据库逻辑设计的规范化 数据库逻辑设计的规范化就是我们一般所说的范式，我们可以这样来简单理解范式：第1规范：没有重复的组或多值的列，这是数据库设计的最低要求。 第2规范: 每个非关键字段必须依赖于主关键字，不能依赖于一个组合式主关键字的某些组成部分。消除部分依赖，大部分情况下，数据库设计都应该达到第二范式。 第3规范: 一个非关键字段不能依赖于另一个非关键字段。消除传递依赖，达到第三范式应该是系统中大部分表的要求，除非一些特殊作用的表。 更高的范式要求这里就不再作介绍了，个人认为，如果全部达到第二范式，大部分达到第三范式，系统会产生较少的列和较多的表，因而减少了数据冗余，也利于性能的提高。 2、合理的冗余 完全按照规范化设计的系统几乎是不可能的，除非系统特别的小，在规范化设计后，有计划地加入冗余是必要的。 冗余可以是冗余数据库、冗余表或者冗余字段，不同粒度的冗余可以起到不同的作用。 冗余可以是为了编程方便而增加，也可以是为了性能的提高而增加。从性能角度来说，冗余数据库可以分散数据库压力，冗余表可以分散数据量大的表的并发压力，也可以加快特殊查询的速度，冗余字段可以有效减少数据库表的连接，提高效率。 3、主键的设计 主键是必要的，SQL SERVER的主键同时是一个唯一索引，而且在实际应用中，我们往往选择最小的键组合作为主键，所以主键往往适合作为表的聚集索引。聚集索引对查询的影响是比较大的，这个在下面索引的叙述。 在有多个键的表，主键的选择也比较重要，一般选择总的长度小的键，小的键的比较速度快，同时小的键可以使主键的B树结构的层次更少。 主键的选择还要注意组合主键的字段次序，对于组合主键来说，不同的字段次序的主键的性能差别可能会很大，一般应该选择重复率低、单独或者组合查询可能性大的字段放在前