大数据系统Benchmark综述ASurveyofBenchmarkinBigData
大数据系统Benchmark综述
闫义博1朱文强2 杨仝3李晓明3
（1北京大学深圳研究生院深圳 518055 2对外经济贸易大学信息学院北京 100029 3北京大学计算机
系北京 100871）
摘要：Benchmark是目前最主要的计算机系统性能评测技术，其评测的内容主要包括软件、硬件以及系统自身这三个方面中的一个或多个。在大数据时代背景下，与传统计算机系统相比，大数据相关的计算机系统具备了更高的多样性以及复杂性，因此benchmark评测技术将涵盖广泛的应用领域并提供多样的数据类型和复杂的数据操作。本文对benchmark评测基准中的测试规范进行了归纳总结，同时还列举了在大数据时代背景下benchmark评测技术开发中的一些挑战以及发展趋势。
关键词：基准测试，测试方法，大数据，性能
A Survey of Benchmark in Big Data
Yan Yibo1, Zhu Wenqiang2, Yang Tong3, Li Xiaoming3
(1 Shenzhen Graduate School, Peking University, Shenzhe n, 518055, China;
2 School of Information Management, University of International Business and Economic, Beijin g,
100029, China;
3 Department of Computer Science, Peking University, Beijing, 100871, China)
Abstract: Benchmark is currently the most important technique for evaluating a computer system. The content of assessment mainly includes one or more of the three aspects of the software, the hardware and the computer system itself. In the Big Data era, compared with traditional computer system, the diversity and complexity of big data related computer systems are higher. Therefore, benchmarking technology will cover a wide range of applications and provide a wide range of data types and complex data manipulation. This paper summarizes some testing specifications and methods in benchmark and lists several challenges to adaption to changes from big data era and development trend in the development of benchmarking.
Keywords: benchmarks, benchmarking methodology, big data, performance
1 引言
在计算机领域，benchmark是一种被广泛应用于评测计算机系统的相关性能的技术。Benchmark原指测量领域中的基准点，常用于判断不同测量对象之间的某个测量指标的差异。在计算机领域，benchmark技术常常根据具体的应用领域建立相应的测试规范，然后依据测试规范设计测试流程，通过对该应用领域内的不同计算机系统进行测试得到测试结果，测试结果可以反映出不同计算机系统之间的性能指标的差异错误!未找到引用源。。Benchmark常用于评测计算机系统的性能测试，主要在测试响应时间、传输速度、吞吐量、资源占用率等方面，是基于性能的计算机系统设计中不可缺失的重要环节[2]。
随着计算机技术的发展，出现了越来越多的计算机系统，而如何评价某个应用领域中的计算机系统成为了学术界和工业界需要解决的首要问题。此外，在当前的大数据时代背景下，越来越多的应用领域需要使用大数据相关技术来应对数据的数量和种类的不断增加。大数据的特性使得大数据领域内的计算机系统与传统计算机系统之间存在一定的差异，例如，在对流式数据进行处理时，根据处理的时效性不同，计算机系统通常采用批量计算或流式计算，随着数据量的不断增加，人们将计算机系统开发的关注点转向低延迟、高吞吐和持续可靠的运行，这使得更加强调计算数据流和低时延的流式计算越来越受到欢迎，目前，主要的大数据处理技术包括Hadoop[2]及其衍生技术，Hadoop技术体系包括HDFS[2]、MapReduce[2]和HBase[2]等，其中还有一些用于处理流式数据的组件，例如：T ez[2]和Spark Streaming[2]。此外，传统的benchmark技术还存在着样本规模较小和缺乏变量控制等问题[9]。因此用于评测大数据相关的计算机系统的benchmark 在制定测试规范时应当充分考虑大数据特性给计算机系统带来的改变。
本文将首先介绍benchmark 的组成及其测试规范与方法，然后列举在大数据时代背景下设计benchmark需要面临的一些挑战，最后，我们将介绍部分著名的常用大数据相关的benchmark技术。
2 Benchmark介绍
2．1 Benchmark的组成
Benchmark主要由三部分组成：数据集、工作负载和度量指标。通常benchmark会为使用者提供两种程序，一种是将测试数据集装载程序，负责为被测试的计算机系统提供测试数据集，另外一种是测试的执行程序，负责为被测试的计算机系统提供工作负载。通过这两中程序的协同配合完成对计算机系统的评测。
Benchmark中的数据集大体可分为三类：结构化数据、半结构化数据和非结构化数据。结构化数据也称作为行数据，指的是可以用二维表结构实现和表达其逻辑关系的数据，同时，结构化数据需要遵循对数据的格式与长度的约束，结构化数据常用关系型数据库存储和管理。具体的应用场景有企业财务系统、电子商务交易系统等。半结构化数据与结构化数据相似，但是半结构化数据并不严格遵循关系型数据库所规定的数据模型结构，其表达的对象可以具有不同的属性，但是与非结构化数据相比，它又具有一定的结构性，可以用较为宽松的数据模型进行描述，例如使用可扩展标记语言（XML）和超文本标记语言（HTML）。半结
构化数据的具体应用场景有邮件系统、成员档案系统等[10]。非结构化数据指的是那些难以用数据库的二维逻辑表示，不遵循一定的数据模型的数据，例如图片和视频等数据。非结构化数据的具体应用场景有视频监控系统、音乐网站等。在实际的应用场景中，计算机系统使用的数据类型可能是这三种其中的一种或者几种的混合。
工作负载是Benchmark中较为重要的一部分，它决定了测试结果的类型。工作负载可以按照不同的维度划分，按照应用领域可分为社交网络、电子商务和搜索引擎等；按照密集计算类型可分为CPU密集型计算和I/O密集型计算等；按照计算范式可分为批处理、机器学习和图计算等；按照计算延迟可分为在在线计算、离线计算和实时计算等。但是总体上工作负载一般包括处理大量数据、传输大量数据和进行高强度计算三大类。
度量指标用于直观地体现不同计算机系统某方面性能的优劣，由测试结果表示，具体的度量指标要依据测试的应用领域以及目的制定。一般情况下，为了得到某个度量指标，还需要设计一系列相关的度量指标用于约束整个测量过程来保证测量结果的准确性。
2.2 Benchmark 的测试规范
测试流程的设计需要遵守一定的测试规范。测试规范需要明确测试的目的，根据目的制定相应的度量指标。对于不同的测试对象应该有不同的测试重点，测试对象可分为组件测试和系统测试，但是无论对哪种对象进行测试，测试都需要在一个完整的计算机系统上完成。因此需要通过设置一些约束来提升测量结果的准确性，约束主要包括系统之间不同部件的相互作用、不同工作负载的占比和度量指标之间的关系等因素。此外，测试规范还应当制定相应的测试流程，包括系统环境配置、测试的步骤、每个步骤所用的方法以及不同方法中具体的参数设置等条件。最后，测试规范还应当规定评测报告的相关内容，主要是评测环境的配置以及测试结果的表现形式，方便他人重现测试结果和对比。
测试规范的来源较为广泛。有来自于工业界的一些权威组织，例如事务处理性能委员会（Transaction Processing Performance Council）的TPC系列测试规范和商业应用性能公司（Business Applications Performance Corporation）指定的相关测试规范；也有来自于一些开源的测试项目，例如用于评测文件系统的IOzone和用于评测CPU和内存性能的HINT；有一些专业的评测公司会制定测试规范，例如针对于手机和其它基于ARM的设备进行评测的安兔兔；还有一些非评测公司会制定自己的测试规范，例如微软的Windows System Assessment Tool就是用于评测那些操作系统为windows系列的硬件的性能；此外，研究机构和一些生产商也会根据自身的业务需求执行测试规范。总的来说，虽然评测结果的权威性与测试规范的权威性相关联，但是考虑到评测目的的不同，对于测试规范的选择仍然具有一定的灵活性。
3 大数据时代下benchmark所面临的挑战与发展趋势
随着新的计算机系统不断出现，各种各样的benchmark技术也应运而生，对于benchmark技术的评价
也变得愈加重要。通常来说，一个好的benchmark需要具备五个特性，分别是：相关性、可重复性、公平性、可验证性和可使用性[11]。相关性与具体的业务环境相关联，它指的是benchmark提供的评测结果所蕴含的信息对使用者评判计算机系统所具备的价值高低。计算机系统的相关性能数据应当通过基于该系统的benchmark得到[12]。同时，该benchmark还应当与真实的应用领域相关联[13]。可重复性指的是按照相同的测试规范，在同一环境下，对于同一个计算机系统，benchmark应当提供相同的评测结果，如果benchmark 每次都提供不一样的评测结果，那么这个评测结果是不可信的。公平性指的是在不同的测试环境下，benchmark对计算机系统的评测结果应当具有一致性，不应该出现与其它计算机系统相比一个计算机系统在某个测试环境下表现最好而在另外一个测试环境下表现较差的情况。可验证性指的是benchmark应当充分证明其评测结果的准确性。可使用性指的是benchmark应当是用户友好的，用户不但能够方便使用benchmark进行评测，而且也能够直观地理解评测结果。这五个特性指导了benchmark技术的发展方向。然而，benchmark技术自身的发展并不是封闭的，实际上，benchmark技术的发展应当更多的关注和依赖其测试对象的发展，也就是计算机系统的发展。
在大数据时代下，计算机系统在系统、应用和数据这三个方面发生了变化[14]。应用场景复杂度的增加以及真实数据生成速度的不断加快导致大数据相关的计算机系统与传统计算机系统所采用的数据处理技术有所差别。由于大数据相关领域内生成的真实数据往往具有较大的规模，因此，当前大数据相关的计算机系统通常采用流式处理的方法处理各种数据。此外，流式处理技术也有所改变和发展，sketch是一种在流式处理中常用的数据结构，起初，sketch主要用于统计数据集中不同元素的频度[2]，凭借着较低的内存占用以及较快的查询速度越来越受到欢迎，随着sketch相关技术的发展，sketch也从一些经典的结构[2]衍生出许多新的类型[2]，这使得sketch在流式处理中有着越来越广泛的应用领域，例如：压缩感知中的稀疏逼近[2]、自然语言处理[2]和数据图[2]等[2]。这些差异和变化使得传统的benchmark技术难以满足对日益变化的大数据相关的计算机系统进行评测的需求，在开发新的benchmark技术时不但应当满足上述的五个特性，还应当兼顾大数据的特性，这就使得benchmark技术的开发面临着新的挑战。大数据具有四个特性：海量数据、数据类型多样、价值密度低和处理速度快[36]。大数据相关的计算机系统不但要处理海量的多样的数据，同时还要具备较快的数据处理速度。因此，在测试数据集方面，benchmark需要为计算机系统提供更大规模的数据量和更多类型的数据；在工作负载方面，随着大数据涵盖越来越多的应用领域，benchmark也应当丰富其工作负载的种类；在度量指标方面，benchmark技术应当根据具体应用领域内的业务变化而作出修正。在三个方面，benchmark都面临着挑战。
首先，由于大数据相关的计算机系统需要对大量的数据进行处理分析，benchmark评测技术需要提供相应的测试数据，为了使测试结果更具实际意义，测试数据应当尽可能的使用实际应用场景下生成的真实数据，但是实际上为被测试系统提供大量的真实数据往往存在较大难度。一方面，真实数据的获取较为困
难。真实的测试数据通常来源于实际应用场景，因此，大量的真实数据往往被一些企业所掌控，企业会利用这些数据对运营状况作出判断或者对行业发展作出预测，这就使得这些真实数据所蕴藏的商业价值受到企业的高度重视，从而使得数据的持有者处于商业利益的考虑而拒绝分享其持有的数据。而那些愿意分享其持有的数据的企业常常会出于对用户隐私、商业机密等因素的考虑而对其分享的数据进行处理，这就使得测试用的数据和真实的数据之间仍然存在一定的差异。当然，通过搭建相应的环境来模拟真实数据的生成也是获取数据的一种手段，但是这样不但会增加测试成本，而且数据的生成速度也难以得到保证，此外，由于实际环境的复杂性较高，生成数据所具备的价值以及规模无法与真实场景下得到的数据相比。另一方面，大量测试数据的传输和存储也将增加测试成本和测试难度。用户在获取测试数据时将消耗大量的传输资源，从benchmark 的设计上看，这不但增加了评测成本，而且也不利于对已有的benchmark进行扩展，有碍于测试数据的更新。同时，大量的测试数据需要庞大的存储空间，这也将导致评测成本的增加。因此，为了有效地获取测试数据以及降低评测成本，benchmark技术的开发者应当考虑如何充分利用有限的真实有效的数据集。Benchmark附带的测试数据集应当是规模较小，同时具备原始真实数据的各项特征。随着benchmark评测技术的发展，为了适应大数据所带来的改变，benchmark可以为用户提供较小规模的数据集或者是容易获取的公开的数据集，然后通过提供相应的测试数据生成工具来生成测试数据。这样不但方便用户获取大量的测试数据，同时也有利于用户根据自己的需求来修改测试数据生成参数以满足不同的评测需求。但是这样也增加了测试数据生成工具的设计难度，一方面，生成的测试数据需要与原始真实数据具备相同的特征，这就要求开发人员对测试数据的应用领域有着充分的了解，另一方面，数据建模的方法将影响测试数据的生成速度，数据的多样性以及应用领域的多样性都为数据建模方法的选择增加了难度。因此，尽管大数据的特性使得benchmark中的测试数据集发生了较大的变化，数据的获取与使用成本都将增加，但是开发人员可以通过提供工具来合理地生成符合要求的测试数据，降低评测成本，从而保证benchmark 中可使用的数据集具备越来越高的多样性和复杂性。
其次，随着大数据的应用领域越来越广泛，工作负载也具备了较强的多样性，这就使得制定测试规范变得更加复杂。Benchmark技术应当使用公认的标准选取若干重要的大数据应用领域，并准对这些领域提供相应的工作负载[37]。由于计算机系统需要处理的数据的种类越来越多，相应地，系统工作负载的组成也将变得复杂，这时，如何设置工作负载的组成及其中不同部分在整体中所占比例将成为首先需要解决的问题。工作负载的设置应当根据实际的应用场景进行设置，通常工作负载包括数据的处理、传输和计算，根据大数据特性可知，虽然数据规模庞大，但是数据的价值密度较低，因此如何从有限的数据中尽可能的提取价值是大数据相关的计算机系统的工作重点，但是不同的大数据相关的计算机系统可能对这三种工作负载中的一种或多种有所偏重，因此在对某个应用领域内的计算机系统进行评测时开发人员需要对该领域有着较为深入的理解，从实际出发，综合考虑计算机系统的工作特点，依据实际的业务环境，合理设置工作负载的总规
模以及分配不同工作负载的比例，从而提升评测结果的价值。
最后，大数据的多样性及其技术的快速发展也为度量指标的制定增加了难度。大数据领域的不断扩大以及技术的不断发展加快了大数据相关的计算机系统的更新，随着大数据相关技术研究重点的转变，应用领域内不同业务发展方向的改变，部分度量指标有效性会逐渐降低，因此评测的度量指标也应当随之灵活变化，这就要求benchmark具备一定的可扩展性。这用户将在评测过程中的起到更加重要的作用，因为用户常常对其所在应用领域的发展有着更加精准的认识，当用户需要围绕一项新的技术研究时，已有的评测技术中的度量指标可能无法满足用户的评测需求，而扩展性较高的benchmark评测技术将提升用户在评测过程中的自主权，从而满足用户的各项需求。但是这样也带来了新的挑战，为了保证评测结果的客观性和准确性，benchmark评测技术开发人员需要制定相应的详细的测试和规范，同时，开发人员还应密切关注不同应用领域内业务的发展以及时更新度量指标，这些都需要开发人员的持续努力和对新需求作出及时反应。
4 大数据相关的常用benchmark技术介绍
目前的常用Benchmark技术主要有以下几种：
4.1 TPC测试集：
TPC测试基准是由微软、英特尔、惠普等知名厂商共同建立的测试基准[38]。TCP基准主要是针对数据库管理系统的测试系统，其测试数据库管理系统的ACID特性、查询速度及联机事务处理等能力，从而对数据库管理系统进行性能测试。目前为止，TPC共发布了TPC-A、TPC-B、TPC-C等八个标准[40]。但是TPC 基准只提供数据装载程序，不提供工作负载生成程序。
4.2 BigBench基准：
BigBench[40]基准目前更多地运用于零售网站等商业系统中。BigBench数据模型部分参考了TPC-DS 大数据测评基准，但是BigBench丰富完善了TPC-DS数据模型中缺少的半结构化与非结构化的数据类型，同时提供了工作负载的生成程序[40]。
4.3 SPEC基准：
SPEC[43]是一家非盈利公司，公司的主要业务是开发有效实用的Benchmark基准。目前其开发的基准主要应用于CPU、图形/应用处理、高性能计算机/消息传递接口(MPI)、Java 客户机/服务器、邮件服务器、网络文件系统、Web 服务器等，以测试处理器的运算速度及吞吐量等相关性能[43]。
4.4 HiBench基准：
目前，分布式系统基础框架Hadoop在云计算的大规模数据分析中的表现变得越来越突出，因此针对于Hadoop的大数据测试基准HiBench[44]也被更多地应用。HiBench基准由一组Hadoop程序组成，包括测试地微基准及实际Hadoop应用程序。HiBench评价和表征Hadoop框架的速度、吞吐量、HDFS的带宽、系统资源利用率和数据访问模式，从而对Hadoop系统做出性能评价。
4.5 BigDataBench基准：
目前虽然有着广泛多样的benchmark，但这些大数据测评基准多为针对某一单独领域的专用基准，难以覆盖大数据的多样性与复杂性。BigDataBench[45]被开发出来即是主要为了解决这一问题。BigDataBench 覆盖5个典型应用领域，可生成非结构化、半结构化与结构化数据3种数据类型及离线分析、交互式分析、在线服务、NoSQL4种不同负载类型，以达到可广泛适用于多种不同的大数据系统的目的。
4.6 YCSB：
YCSB的全称是：Yahoo! Cloud Serving Benchmark (YCSB) [46]。YCSB是Yahoo 公司开发的用来对云服务进行基础测试的工具，用以比较不同的云服务系统的性能。YCSB的主要针对对象是在云服务平台的NoSQL系统，YCSB可以在同一硬件配置下对多个系统同时进行工作流创建和运行，并记录不同系统的处理速度，从而实现比较不同的云服务系统的性能的目的。
4.7常用benchmark技术对比：
本文介绍了6种不同的benchmark技术，每一种benchmark均具有不同的特点。针对于不同的测试环境及测试需求，不同的benchmark技术有着自身独特的优势与缺陷。TPC作为最早诞生的benchmark 之一，有着许多的拓展与延伸版本；Hibench在Hadoop系统的测试上被广泛地应用；BigDataBench相较于其他的benchmark算法可以生成更多种类的数据类型与工作负载；YCSB在网络云系统的测试中一直受到高度的认可。现将本文列举的benchmark的特点总结对比，如下图所示：
表1：常用benchmark技术对比
5 总结
本文通过对多种不同的benchmark进行比较研究，对benchmark的组成和规范进行了概括性介绍，对benchmark的特性进行了描述。同时，在此基础上，本文指出，在新的大数据时代背景下，大数据特性导致计算机系统发生的变化使得benchmark技术的开发也不断受到重视与面对挑战，数据的多样性、复杂的运行环境与庞大的负载量对benchmark技术的开发提出了更多的要求，为此，更多的大数据测试基准也在不断产生，以满足对大数据相关的计算机系统进行评测的需求。
参考文献：
[1] Fleming, P. J., & Wallace, J. J. (1986). How not to lie with statistics: the correct way to summarize
benchmark results[J]. Communications of the ACM, 29(3), 218-221.
[2] J.L. Hennessy and D.A. Patterson, Computer Architecture: A Quantitative Approach, Morgan
Kaufmann[D], San Francisco, CA, 1996.
[3] Apache. Hadoop. https://www.sodocs.net/doc/9010014281.html,/.
[4] Shvachko K, Kuang H, Radia S, et al. The Hadoop Distributed File System[C]// IEEE, Symposium on
MASS Storage Systems and Technologies. IEEE Computer Society, 2010:1-10.
[5] Dean J, Ghemawat S. MapReduce: simplified data processing on large clusters[J]. Commun. ACM,
2008, 51(1):10-10.
[6] “HBase: Bigtable-like structured storage for Hadoop HDFS,” 2010, https://www.sodocs.net/doc/9010014281.html,/hbase/.
[7] Apache tez. https://www.sodocs.net/doc/9010014281.html,/projects/tez.html.
[8] M. Zaharia et al. Discretized Streams: Fault-Tolerant Streaming Computation at Scale. In Proc. of the
24th ACM Symp. on Operating Systems Principles, 2013.
[9] Castor, Kevin (2006). "Hardware Testing and Benchmarking Methodology"[OL]. Archived from the
original on 2008-02-05. Retrieved 2008-02-24.
[10] Abiteboul, S. (1997). Querying semi-structured data[J]. Database Theory—ICDT'97, 1-18.
[11] Gray J. Benchmark handbook: for database and transaction processing systems[M]. Morgan
Kaufmann Publishers Inc., 1992.
[12] Seltzer M, Krinsky D, Smith K, et al. The case for application-specific benchmarking[C]//Hot Topics in
Operating Systems, 1999. Proceedings of the Seventh Workshop on. IEEE, 1999: 102-107.
[13] Chen Y, Raab F, Katz R. From tpc-c to big data benchmarks: A functional workload
model[M]//Specifying Big Data Benchmarks. Springer, Berlin, Heidelberg, 2014: 28-43.
[14] 金澈清，钱卫宁，周敏奇等．数据管理系统评测基准：从传统数据库到新兴大数据[J]．计算机学报，
2015，38(1): 18-34
[15] Aggarwal, C. C., & Yu, P. S. (2010, April). On classification of high-cardinality data streams. In
Proceedings of the 2010 SIAM International Conference on Data Mining (pp. 802-813). Society for Industrial and Applied Mathematics.
[16] Chen, A., Jin, Y., Cao, J., & Li, L. E. (2010, March). Tracking long duration flows in network traffic. In
Infocom, 2010 proceedings ieee (pp. 1-5). IEEE.
[17] Cormode, G., & Garofalakis, M. (2005, August). Sketching streams through the net: Distributed
approximate query tracking. In Proceedings of the 31st international conference on Very large data bases (pp. 13-24). VLDB Endowment.
[18] Charikar, M., Chen, K., & Farach-Colton, M. (2002, July). Finding frequent items in data streams. In
International Colloquium on Automata, Languages, and Programming (pp. 693-703). Springer, Berlin, Heidelberg.
[19] Liu, Z., Manousis, A., Vorsanger, G., Sekar, V., & Braverman, V. (2016, August). One sketch to rule
them all: Rethinking network flow monitoring with univmon. In Proceedings of the 2016 ACM SIGCOMM Conference (pp. 101-114). ACM.
[20] Thomas, D., Bordawekar, R., Aggarwal, C. C., & Philip, S. Y. (2009, March). On efficient query
processing of stream counts on the cell processor. In Data Engineering, 2009. ICDE'09. IEEE 25th International Conference on (pp. 748-759). IEEE.
[21] Cormode G. Count-Min Sketch[J]. Encyclopedia of Algorithms, 2009, 29(1):64-69.
[22] Cormode G, Muthukrishnan S. An Improved Data Stream Summary: The Count-Min Sketch and Its
Applications[C]// Latin American Symposium on Theoretical Informatics. Springer, Berlin, Heidelberg, 2004:29-38.
[23] Goyal A, Iii H D. Lossy Conservative Update (LCU) Sketch: Succinct Approximate Count Storage[C]//
AAAI Conference on Artificial Intelligence, AAAI 2011, San Francisco, California, Usa, August. DBLP, 2012.
[24] Roy P, Khan A, Alonso G. Augmented Sketch:Faster and More Accurate Stream Processing[J].
2016:1449-1463.
[25] Yang T, Liu A X, Shahzad M, et al. A shifting framework for set queries[J]. IEEE/ACM Transactions on
Networking, 2017, 25(5): 3116-3131.
[26] Yang T, Zhou Y, Jin H, et al. Pyramid sketch: A sketch framework for frequency estimation of data
streams[J]. Proceedings of the VLDB Endowment, 2017, 10(11): 1442-1453.
[27] Liu P, Wang H, Gao S, et al. ID Bloom Filter: Achieving Faster Multi-Set Membership Query in Network
Applications[J].
[28] Zhou Y, Liu P, Jin H, et al. One memory access sketch: a more accurate and faster sketch for per-flow
measurement[C]//IEEE Globecom. 2017.
[29] Gong J, Yang T, Zhou Y, et al. Abc: a practicable sketch framework for non-uniform multisets[J]. IEEE
Bigdata, 2017.
[30] Gilbert, A. C., Strauss, M. J., Tropp, J. A., & Vershynin, R. (2007, June). One sketch for all: fast
algorithms for compressed sensing. In Proceedings of the thirty-ninth annual ACM symposium on Theory of computing (pp. 237-246). ACM.
[31] Talbot, D., & Osborne, M. (2007). Smoothed Bloom filter language models: Tera-scale LMs on the
cheap. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL).
[32] Van Durme, B., & Lall, A. (2009, July). Probabilistic Counting with Randomized Storage. In IJCAI (pp.
1574-1579).
[33] Polyzotis, N., Garofalakis, M., & Ioannidis, Y. (2004, June). Approximate XML query answers. In
Proceedings of the 2004 ACM SIGMOD international conference on Management of data (pp. 263-274). ACM.
[34] Spiegel, J., & Polyzotis, N. (2006, June). Graph-based synopses for relational selectivity estimation.
In Proceedings of the 2006 ACM SIGMOD international conference on Management of data (pp. 205-216). ACM.
[35] Pietracaprina, A., Riondato, M., Upfal, E., & Vandin, F. (2010). Mining top-K frequent itemsets through
progressive sampling. Data Mining and Knowledge Discovery, 21(2), 310-326.
[36] 马建光，姜巍. (2013). 大数据的概念、特征及其应用. 国防科技[J], 34(2), 10-17.
[37] Burby J, Atchison S. Actionable web analytics: using data to make smart business decisions[M]. John
Wiley & Sons, 2007.
[38] 王良. Benchmark性能测试综述[J]. 计算机工程与应用, 2006, 42(15): 45-48.
[39] Subramanian S, Raab F, Livingtree L, et al. Tpc Benchmark[J]. Journal of Marital & Family Therapy,
2003, 18(1):71–81.
[40] Ghazal A, Raab F, Raab F, et al. BigBench: towards an industry standard benchmark for big data
analytics[C]// ACM SIGMOD International Conference on Management of Data. ACM, 2013:1197-1208.
[41] Chowdhury B, Rabl T, Saadatpanah P, et al. A BigBench Implementation in the Hadoop
Ecosystem[M]// Advancing Big Data Benchmarks. Springer International Publishing, 2014:3-18. [42] Henning J L. SPEC CPU2000: measuring CPU performance in the New Millennium[J]. Computer,
2000, 33(7):28-35.
[43] KAIVALYA DIXIT, TOM SKORNIA. Standard Performance Evaluation Corporation (SPEC)[OL].
[44] Huang S, Huang J, Dai J, et al. The HiBench benchmark suite: Characterization of the MapReduce-
based data analysis[C]// IEEE, International Conference on Data Engineering Workshops. IEEE, 2010:41-51.
[45] Wang L, Zhang S, Zheng C, et al. BigDataBench: A big data benchmark suite from internet
services[C]// IEEE, International Symposium on High PERFORMANCE Computer Architecture. IEEE, 2014:488-499.
[46] Dey A, Fekete A, Nambiar R, et al. YCSB+T: Benchmarking web-scale transactional databases[C]//
IEEE, International Conference on Data Engineering Workshops. IEEE, 2014:223-230.
作者简介
闫义博，(1995.5 - )，男，硕士研究生，研究方向：网络信息工程。
大数据文献综述
信息资源管理文献综述 题目：大数据背景下的信息资源管理 系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月 大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。
关键词：大数据信息资源管理与利用 目录 大数据概念.......................................................... 大数据定义...................................................... 大数据来源...................................................... 传统数据库和大数据的比较........................................ 大数据技术.......................................................... 大数据的存储与管理.............................................. 大数据隐私与安全................................................ 大数据在信息管理层面的应用.......................................... 大数据在宏观信息管理层面的应用.................................. 大数据在中观信息管理层面的应用.................................. 大数据在微观信息管理层面的应用.................................. 大数据背景下我国信息资源管理现状分析................................ 前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日
大数据与数据可视化发展趋势_光环大数据培训
https://www.sodocs.net/doc/9010014281.html, 大数据与数据可视化发展趋势_光环大数据培训 光环大数据培训是专注大数据、人工智能垂直领域高薪就业培训机构，多年来专注大数据、人工智能人才培养，携17年IT培训经验,与中关村软件园共同建立国家大数据人才培养基地,并与全球知名大厂商cloudera战略合作培养中国大数据高级人才，专注为大学生及在职人员提供专业师资平台及培训服务，助力他们高薪名企就业。 2016年，各行各业的大数据应用都渐渐从空洞的理论落地，被专家们称为“大数据元年”。无论如何，大数据已经成为IT领域的流行趋势，那么，2017年对大多数企业具有战略意义的大数据趋势有哪些? Infogix首席执行官兼总裁表示，2017年的大数据趋势主要集中在企业如何通过大数据实现更好的商业价值，以及如何通过改善商业智能来帮助企业改变组织流程和客户体验。企业业务主管要求要有更好的数据管理来满足合规性，更快速地采用大数据和创新变革的数据分析技术来引导业务。以下分享2017年大数据领域的十大趋势预测： 1.大数据的扩散 大数据的扩散使得快速分析数据获得有价值的洞察变得至关重要，企业必须将未使用的大数据(也称为黑暗数据)转换为可用的数据。目前大数据还没有产生实质性或决定性的价值和产品，所以企业想要通过新的产品或思想在竞争中获得优势还是大有可为的。 2.使用大数据改善客户体验
https://www.sodocs.net/doc/9010014281.html, 使用大数据通过从传统系统转移到供应商系统、并购和核心系统升级来改进客户体验。通过自助服务灵活性分析数据，快速了解领先趋势，同时了解新客户收购增长机会。使用大数据来更好地了解客户，以便通过交叉销售或加售来提高收入，以及通过减少客户流失来消除收入损失的风险。 3.更广泛地采用Hadoop Hadoop绝对是大数据领域的一匹黑马，现在越来越多的企业采用Hadoop做大数据存储，逆向思维，创新的Hadoop解决方案会不会是未来企业的刚需呢?利用Hadoop企业能够使用高级分析来查找大量数据，通过查找有价值信息的数据从而得出更多有利可图的决策。 4.预测分析 一方面，精确预测未来的行为和事件能够大幅提高盈利能力。另一方面，快速改进欺诈检测能够尽量减少收入风险，提高运营绩效。 5.基于云的数据分析 将数据分析迁移上云，加速了新功能的采用，将数据转变为行动。另外，数据分析迁移上云，降低了维护和操作的成本。 6.趋向于信息学和数据价值的识别 利用信息学来整合复杂数据的收集、分析和可视化，并从数据中获得价值。 7.利用数据虚拟化实现最大的商业智能
聚类分析K-means算法综述
聚类分析K-means算法综述 摘要：介绍K-means聚类算法的概念，初步了解算法的基本步骤，通过对算法缺点的分析，对算法已有的优化方法进行简单分析，以及对算法的应用领域、算法未来的研究方向及应用发展趋势作恰当的介绍。 关键词：K-means聚类算法基本步骤优化方法应用领域研究方向应用发展趋势 算法概述 K-means聚类算法是一种基于质心的划分方法，输入聚类个数k，以及包含n个数据对象的数据库，输出满足方差最小标准的k个聚类。 评定标准：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算。 解释：基于质心的划分方法就是将簇中的所有对象的平均值看做簇的质心，然后根据一个数据对象与簇质心的距离，再将该对象赋予最近的簇。 k-means 算法基本步骤 （1）从n个数据对象任意选择k 个对象作为初始聚类中心 （2）根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分 （3）重新计算每个（有变化）聚类的均值（中心对象） （4）计算标准测度函数，当满足一定条件，如函数收敛时，则算法终止；如果条件不满足则回到步骤（2） 形式化描述 输入：数据集D，划分簇的个数k 输出：k个簇的集合 （1）从数据集D中任意选择k个对象作为初始簇的中心； （2）Repeat （3）For数据集D中每个对象P do （4）计算对象P到k个簇中心的距离 （5）将对象P指派到与其最近（距离最短）的簇；
（6）End For （7）计算每个簇中对象的均值，作为新的簇的中心； （8）Until k个簇的簇中心不再发生变化 对算法已有优化方法的分析 (1)K-means算法中聚类个数K需要预先给定 这个K值的选定是非常难以估计的，很多时候,我们事先并不知道给定的数据集应该分成多少个类别才最合适，这也是K一means算法的一个不足"有的算法是通过类的自动合并和分裂得到较为合理的类型数目k，例如Is0DAIA算法"关于K一means算法中聚类数目K 值的确定，在文献中，根据了方差分析理论，应用混合F统计量来确定最佳分类数，并应用了模糊划分嫡来验证最佳分类数的正确性。在文献中，使用了一种结合全协方差矩阵RPCL算法，并逐步删除那些只包含少量训练数据的类。文献中针对“聚类的有效性问题”提出武汉理工大学硕士学位论文了一种新的有效性指标：V(k km) = Intra(k) + Inter(k) / Inter(k max)，其中k max是可聚类的最大数目,目的是选择最佳聚类个数使得有效性指标达到最小。文献中使用的是一种称为次胜者受罚的竞争学习规则来自动决定类的适当数目"它的思想是：对每个输入而言不仅竞争获胜单元的权值被修正以适应输入值，而且对次胜单元采用惩罚的方法使之远离输入值。 (2)算法对初始值的选取依赖性极大以及算法常陷入局部极小解 不同的初始值，结果往往不同。K-means算法首先随机地选取k个点作为初始聚类种子，再利用迭代的重定位技术直到算法收敛。因此，初值的不同可能导致算法聚类效果的不稳定，并且，K-means算法常采用误差平方和准则函数作为聚类准则函数(目标函数)。目标函数往往存在很多个局部极小值，只有一个属于全局最小，由于算法每次开始选取的初始聚类中心落入非凸函数曲面的“位置”往往偏离全局最优解的搜索范围，因此通过迭代运算，目标函数常常达到局部最小，得不到全局最小。对于这个问题的解决，许多算法采用遗传算法(GA)，例如文献中采用遗传算法GA进行初始化，以内部聚类准则作为评价指标。 (3)从K-means算法框架可以看出，该算法需要不断地进行样本分类调整，不断地计算调整后的新的聚类中心，因此当数据量非常大时,算法的时间开销是非常大 所以需要对算法的时间复杂度进行分析，改进提高算法应用范围。在文献中从该算法的时间复杂度进行分析考虑，通过一定的相似性准则来去掉聚类中心的候选集，而在文献中，使用的K-meanS算法是对样本数据进行聚类。无论是初始点的选择还是一次迭代完成时对数据的调整，都是建立在随机选取的样本数据的基础之上，这样可以提高算法的收敛速度。
大数据环境下的增强学习综述_仵博
大数据环境下的增强学习综述* 仵 博，冯延蓬，孟宪军，江建举，何国坤 （深圳职业技术学院 教育技术与信息中心，广东 深圳 518055） 摘 要：在大数据应用领域，如何快速地对海量数据进行挖掘是当前大数据应用基础研究的热点和难点，也是制约大数据真正应用的关键．而机器学习是解决该问题的有效途径，本文综述抽象增强学习、可分解增强学习、分层增强学习、关系增强学习和贝叶斯增强学习等五类增强学习方法的研究进展，分析了它们的优势和缺点，指出将监督学习或半监督学习与增强学习相结合是大数据机器学习的有效方法． 关键词：大数据；增强学习；维数灾 中图分类号：TP18 文献标志码：B 文章编号：1672-0318（2014）03-0071-05 增强学习（Reinforcement Learning，简称RL）是一种有效的最优控制学习方法，实现系统在模型复杂或者不确定等条件下基于数据驱动的多阶段优化学习控制，是近年来一个涉及机器学习、控制理论和运筹学等多个学科的交叉研究方向．增强学习因其具有较强的在线自适应性和对复杂系统的自学能力，使其在机器人导航、非线性控制、复杂问题求解等领域得到成功应用[1-4]．经典增强学习算法按照是否基于模型分类，可分为基于模型（Model-based）和模型自由（Model-free）两类．基于模型的有TD学习、Q学习、SARSA和ACTOR-CRITIC等算法．模型自由的有DYNA-Q和优先扫除等算法．以上经典增强学习算法在理论上证明了算法的收敛性，然而，在实际的应用领域，特别是在大数据环境下，学习的参数个数很多，是一个典型的NP难问题，难以最优化探索和利用两者之间的平衡[5-8]．因此，经典增强学习算法只在理论上有效． 为此，近年来的增强学习研究主要集中在减少学习参数数量、避免后验分布全采样和最小化探索次数等方面，达到算法快速收敛的目的，实现探索和利用两者之间的最优化平衡．当前现有算法按照类型可分为五类：1）抽象增强学习；2）可分解增强学习；3）分层增强学习；4）关系增强学习；5）贝叶斯增强学习． 1 抽象增强学习 抽象增强学习（Abstraction Reinforcement Learning，简称ARL）的核心思想是忽略掉状态向量中与当前决策不相关的特征，只考虑那些有关的或重要的因素，达到压缩状态空间的效果[9]．该类算法可以在一定程度上缓解“维数灾”问题．状态抽象原理如图1所示． 目前，状态抽象方法有状态聚类、值函数逼近和自动状态抽象等方法．函数逼近方法难于确保增强学习算法能够收敛，采用线性拟合和神经网络等混合方法来实现函数逼近是当前的研究热点和方向．状态聚类利用智能体状态空间中存在的对称性来压缩状态空间，实现状态聚类．自动状态抽象增 深圳职业技术学院学报 2014年第3期 No.3, 2014 收稿日期：2013-10-14 *项目来源：广东省自然科学基金项目（S2011040004769）和深圳市科技研发资金项目（JCYJ20120617134831736） 作者简介：仵 博（1979-），男，河南桐柏人，副教授，博士，主要研究领域为序贯决策、机器学习和大数据. 冯延蓬（1980-），男，山东潍坊人，讲师，硕士，主要研究领域为无线传感器网络、智能决策和大数据. 孟宪军（1979-），男，北京大兴人，助理研究员，博士，主要研究领域为数据挖掘、自然语言处理和机器学习. 江建举（1976-），男，河南内乡人，高级工程师，硕士，主要研究机器人控制、群智能和大数据. 何国坤（1980-），男，广东深圳人，高级工程师，硕士，主要研究领域为软件工程、机器学习和大数据. https://www.sodocs.net/doc/9010014281.html,- 71 -
蚁群聚类算法综述
计算机工程与应用2006.16 引言 聚类分析是数据挖掘领域中的一个重要分支[1],是人们认 和探索事物之间内在联系的有效手段,它既可以用作独立的 据挖掘工具,来发现数据库中数据分布的一些深入信息,也 以作为其他数据挖掘算法的预处理步骤。所谓聚类(clus- ring)就是将数据对象分组成为多个类或簇(cluster),在同一 簇中的对象之间具有较高的相似度,而不同簇中的对象差别大。传统的聚类算法主要分为四类[2,3]:划分方法,层次方法, 于密度方法和基于网格方法。 受生物进化机理的启发,科学家提出许多用以解决复杂优 问题的新方法,如遗传算法、进化策略等。1991年意大利学A.Dorigo等提出蚁群算法,它是一种新型的优化方法[4]。该算不依赖于具体问题的数学描述,具有全局优化能力。随后他 其他学者[5～7]提出一系列有关蚁群的算法并应用于复杂的组优化问题的求解中,如旅行商问题(TSP)、调度问题等,取得 著的成效。后来其他科学家根据自然界真实蚂蚁群堆积尸体分工行为,提出基于蚂蚁的聚类算法[8,9],利用简单的智能体 仿蚂蚁在给定的环境中随意移动。这些算法的基本原理简单懂[10],已经应用到电路设计、文本挖掘等领域。本文详细地讨现有蚁群聚类算法的基本原理与性能,在归纳总结的基础上 出需要完善的地方,以推动蚁群聚类算法在更广阔的领域内 到应用。 2聚类概念及蚁群聚类算法 一个簇是一组数据对象的集合,在同一个簇中的对象彼此 类似,而不同簇中的对象彼此相异。将一组物理或抽象对象分组为类似对象组成的多个簇的过程被称为聚类。它根据数据的内在特性将数据对象划分到不同组(或簇)中。聚类的质量是基于对象相异度来评估的,相异度是根据描述对象的属性值来计算的,距离是经常采用的度量方式。聚类可用数学形式化描述为:设给定数据集X={x 1 ,x 2 ,…,x n },!i∈{1,2,…,n},x i ={x i1 ,x i2 , …,x
大数据时代的空间数据挖掘综述
第37卷第7期测绘与空间地理信息 GEOMATICS ＆SPATIAL INFOＲMATION TECHNOLOGY Vol．37，No．7收稿日期：2014－01－22 作者简介：马宏斌（1982－），男，甘肃天水人，作战环境学专业博士研究生，主要研究方向为地理空间信息服务。 大数据时代的空间数据挖掘综述 马宏斌1 ，王 柯1，马团学 2（1．信息工程大学地理空间信息学院，河南郑州450000；2．空降兵研究所，湖北孝感432000） 摘 要：随着大数据时代的到来，数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题， 介绍了国内外研究中利用大数据处理工具和云计算技术，在空间数据的存储、管理和挖掘算法等方面的做法，并指出了该类研究存在的不足。最后，探讨了空间数据挖掘的发展趋势。关键词：大数据；空间数据挖掘；云计算中图分类号：P208 文献标识码：B 文章编号：1672－5867（2014）07－0019－04 Spatial Data Mining Big Data Era Ｒeview MA Hong －bin 1，WANG Ke 1，MA Tuan －xue 2 （1．Geospatial Information Institute ，Information Engineering University ，Zhengzhou 450000，China ； 2．Airborne Institute ，Xiaogan 432000，China ） Abstract ：In the era of Big Data ，more and more researchers begin to show interest in data mining techniques again．The paper review most unresolved problems left by traditional spatial data mining at first．And ，some progress made by researches using Big Data and Cloud Computing technology is introduced．Also ，their drawbacks are mentioned．Finally ，future trend of spatial data mining is dis-cussed． Key words ：big data ；spatial data mining ；cloud computing 0引言 随着地理空间信息技术的飞速发展，获取数据的手 段和途径都得到极大丰富，传感器的精度得到提高和时空覆盖范围得以扩大，数据量也随之激增。用于采集空间数据的可能是雷达、红外、光电、卫星、多光谱仪、数码相机、成像光谱仪、全站仪、天文望远镜、电视摄像、电子 显微镜、CT 成像等各种宏观与微观传感器或设备，也可能是常规的野外测量、人口普查、土地资源调查、地图扫描、 地图数字化、统计图表等空间数据获取手段，还可能是来自计算机、 网络、GPS ，ＲS 和GIS 等技术应用和分析空间数据。特别是近些年来，个人使用的、携带的各种传感器（重力感应器、电子罗盘、三轴陀螺仪、光线距离感应器、温度传感器、红外线传感器等），具备定位功能电子设备的普及，如智能手机、平板电脑、可穿戴设备（GOOGLE GLASS 和智能手表等），使人们在日常生活中产生了大量具有位置信息的数据。随着志愿者地理信息（Volunteer Geographic Information ）的出现，使这些普通民众也加入到了提供数据者的行列。 以上各种获取手段和途径的汇集，就使每天获取的 数据增长量达到GB 级、 TB 级乃至PB 级。如中国遥感卫星地面站现在保存的对地观测卫星数据资料达260TB ，并以每年15TB 的数据量增长。比如2011年退役的Landsat5卫星在其29年的在轨工作期间，平均每年获取8．6万景影像，每天获取67GB 的观测数据。而2012年发射的资源三号（ZY3）卫星，每天的观测数据获取量可以达到10TB 以上。类似的传感器现在已经大量部署在卫 星、 飞机等飞行平台上，未来10年，全球天空、地空间部署的百万计传感器每天获取的观测数据将超过10PB 。这预示着一个时代的到来，那就是大数据时代。大数据具有 “4V ”特性，即数据体量大（Volume ）、数据来源和类型繁多（Variety ）、数据的真实性难以保证（Veracity ）、数据增加和变化的速度快（Velocity ）。对地观测的系统如图1所示。 在这些数据中，与空间位置相关的数据占了绝大多数。传统的空间知识发现的科研模式在大数据情境下已经不再适用，原因是传统的科研模型不具有普适性且支持的数据量受限， 受到数据传输、存储及时效性需求的制约等。为了从存储在分布方式、虚拟化的数据中心获取信息或知识，这就需要利用强有力的数据分析工具来将
大数据文献综述
信息资源管理文献综述题目：大数据背景下的信息资源管理 系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月
大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。 关键词：大数据信息资源管理与利用 目录 大数据概念 (3) 大数据定义 (3) 大数据来源 (3) 传统数据库和大数据的比较 (3) 大数据技术 (4) 大数据的存储与管理 (4)
大数据隐私与安全 (5) 大数据在信息管理层面的应用 (6) 大数据在宏观信息管理层面的应用 (6) 大数据在中观信息管理层面的应用 (7) 大数据在微观信息管理层面的应用 (8) 大数据背景下我国信息资源管理现状分析 (9) 前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日 报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要举措. 当前大数据分析者面临的主要问题有:数据日趋庞大，无论是入库和查询，都出现性能瓶颈;用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高;使用的模型越来越复杂，计算量指数级上升;传统技能和处理方法无法应对大数据挑战. 正文：
大数据可视化的主要应用
数据可视化的主要应用 实时的业务看板和探索式的商业智能是目前数据可视化最常见的两个应用场景。 对于企业而言，传统的商业智能产品或报表工具部署周期很长，从设计、研发、部署到交付，往往需要数月甚至更长的时间，IT部门也需要为此付出很大精力；对于决策者而言，想要了解业务发展，不得不等待每周或每月的分析报告，这意味决策周期将更加漫长。在商业环境快速变化的今天，每周或每月的分析报告显然无法满足企业快节奏的决策需求，企业负责人首先需要的是实时的业务看板。 实时业务看板，意味着可视化图表会随着业务数据的实时更新而变化。一方面，这使得企业决策者可以第一时间了解业务的运营状态，及时发现问题并调整策略；另一方面，实时的数据更新也大大提高了分析人员的工作效率，省去了很多重复式的数据准备工作。 实时业务看板满足了数据呈现，想要进行深入的数据分析，企业负责人还需要探索式的商业智能。 由于大数据在国外落地较早，且数据基础更好，所以探索式分析在国外已成为主流。在Gartner 2017 BI（商业智能）魔力象限报告中也可以看出，传统的BI厂商已从领导者象限出局，自助探索式分析将成为趋势。而目前，国内企业仍然以验证式分析为主。 验证式分析是一种自上而下的模式。即企业决策者设定业务指标，提出分析需求，分析人员再根据相关需求进行报表定制。这种模式必须先有想法，之后再通过业务数据进行验证。所以验证式分析对数据质量要求很高，如果数据本身出现问题，那么即便通过科学的数据建模进行分析，结果也肯定是错误的。 相比于验证式分析，探索式分析对数据质量要求相对较低，同时也不需要复杂的数据建模。“探索式分析的意义在于，它允许分析人员或决策者在不清楚数据规律、不知道如何进行数据建模的情况下，通过数据本身所呈现出的可视化图表进行查看和分析。”
大数据文献综述
信息资源管理文献综述题目：大数据背景下的信息资源管理系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月
大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。 关键词：大数据信息资源管理与利用 目录 大数据概念 (2) 大数据定义 (2) 大数据来源 (2) 传统数据库和大数据的比较 (3) 大数据技术 (3) 大数据的存储与管理 (4) 大数据隐私与安全 (4) 大数据在信息管理层面的应用 (5) 大数据在宏观信息管理层面的应用 (5) 大数据在中观信息管理层面的应用 (6) 大数据在微观信息管理层面的应用 (7) 大数据背景下我国信息资源管理现状分析 (8)
前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日 报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的 大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比 石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞 争制高点的重要举措. 当前大数据分析者面临的主要问题有:数据日趋庞大，无论是入 库和查询，都出现性能瓶颈;用户的应用和分析结果呈整合趋势，对 实时性和响应时间要求越来越高;使用的模型越来越复杂，计算量指 数级上升;传统技能和处理方法无法应对大数据挑战. 正文： 大数据概念 大数据定义 维基百科对大数据的定义则简单明了:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。也就是说大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理 大数据来源 1)来自人类活动:人们通过社会网络、互联网、健康、金融、经济、交通等活动过程所产生的各类数据，包括微博、病人医疗记录、文字、图形、视频等
大数据可视化理论及技术
大数据可视化理论及技术 （一）大数据可视分析综述 可视分析是大数据分析的重要方法。大数据可视分析旨在利用计算机自动化分析能力的同时，充分挖掘人对于可视化信息的认知能力优势，将人、机的各自强项进行有机融合，借助人机交互式分析方法和交互技术，辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。主要从可视分析领域所强调的认知、可视化、人机交互的综合视角出发，分析了支持大数据可视分析的基础理论，包括支持分析过程的认知理论、信息可视化理论、人机交互与用户界面理论。在此基础上，讨论了面向大数据主流应用的信息可视化技术——面向文本、网络(图)、时空、多维的可视化技术。同时探讨了支持可视分析的人机交互技术，包括支持可视分析过程的界面隐喻与交互组件、多尺度/多焦点/多侧面交互技术、面向Post-WIMP的自然交互技术。最后，指出了大数据可视分析领域面临的瓶颈问题与技术挑战。
（二）大数据分析工具 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。 在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。大数据分析的常用工具通常有以下介绍的几种。 4.2.1Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失
K-means-聚类算法研究综述
K-means聚类算法研究综述 摘要:总结评述了K-means聚类算法的研究现状，指出K-means聚类算法是一个NP难优化问题，无法获得全局最优。介绍了K-means聚类算法的目标函数，算法流程，并列举了一个实例，指出了数据子集的数目K，初始聚类中心选取，相似性度量和距离矩阵为K-means聚类算法的3个基本参数。总结了K-means聚类算法存在的问题及其改进算法，指出了K-means 聚类的进一步研究方向。 关键词：K-means聚类算法；NP难优化问题；数据子集的数目K；初始聚类中心选取；相似性度量和距离矩阵 Review of K-means clustering algorithm Abstract: K-means clustering algorithm is reviewed. K-means clustering algorithm is a NP hard optimal problem and global optimal result cannot be reached. The goal，main steps and example of K-means clustering algorithm are introduced. K-means algorithm requires three user-specified parameters: number of clusters K，cluster initialization，and distance metric. Problems and improvement of K-means clustering algorithm are summarized then. Further study directions of K-means clustering algorithm are pointed at last. Key words: K-means clustering algorithm; NP hard optimal problem; number of clusters K; cluster initialization; distance metric K-means聚类算法是由Steinhaus1955年、Lloyed1957年、Ball & Hall1965年、McQueen1967年分别在各自的不同的科学研究领域独立的提出。K-means聚类算法被提出来后，在不同的学科领域被广泛研究和应用，并发展出大量不同的改进算法。虽然K-means聚类算法被提出已经超过50年了，但目前仍然是应用最广泛的划分聚类算法之一[1]。容易实施、简单、高效、成功的应用案例和经验是其仍然流行的主要原因。 文中总结评述了K-means聚类算法的研究现状，指出K-means聚类算法是一个NP难优化问题，无法获得全局最优。介绍了K-means聚类算法的目标函数、算法流程，并列举了一个实例，指出了数据子集的数目K、初始聚类中心选取、相似性度量和距离矩阵为K-means聚类算法的3个基本参数。总结了K-means聚类算法存在的问题及其改进算法，指出了K-means聚类的进一步研究方向。 1经典K-means聚类算法简介 1.1K-means聚类算法的目标函数 对于给定的一个包含n个d维数据点的数据集 12 {x,x,,x,,x} i n X=??????，其中d i x R ∈，以及要生成的数据子集的数目K，K-means聚类算法将数据对象组织为 K个划分{c,i1,2,} k C K ==???。每个划分代表一个类c k，每个类c k有一个类别中心iμ。选取欧氏距离作为相似性和 距离判断准则，计算该类内各点到聚类中心 i μ的距离平方和 2 (c) i i k i k x C J xμ ∈ =- ∑（1） 聚类目标是使各类总的距离平方和 1 (C)(c) K k k J J = =∑最小。 22 1111 (C)(c) i i K K K n k i k ki i k k k x C k i J J x d x μμ ==∈== ==-=- ∑∑∑∑∑ （2）其中， 1 i i ki i i x c d x c ∈ ? =? ? ? 若 若 ，显然，根据最小二乘 法和拉格朗日原理，聚类中心 k μ应该取为类别 k c类各数据点的平均值。 K-means聚类算法从一个初始的K类别划分开始，然
城市交通大数据可视化框架及实现
城市交通大数据可视化框架及实现 随着智能交通在物联网、云计算、移动互联等领域的结合应 用和迅速发展，其发展模式已经从传统的信息不均衡、信息处理能力低效的系统发展成为真正的运用新技术的智能交通系统。智能交通系统是多个与交通有关的系统的综合应用，包括车路协同系统、公众出行便捷服务、车联网等，这些应用运用大数据技术、云计算技术、移动互联技术等为交通系统的智能化效率的提高提供重要的支持，不断提高智能交通系统的数据分析判断能力，以优化交通的运行管理，精准地掌握交通状况，给车辆和出行者带来更加智能化的服务。目前大数据技术已经应用在很多城市的智能交通领域，公众出行越来越离不开交通大数据分析带来的便利。 随着大数据技术的兴起，智能交通的发展也在飞速前进的阶段，交通大数据的总量已从TB级跃升为PB级并仍在不断攀升。但目前，在如何运用大数据技术有效处理分析这些日益剧增的交通大数据分析获取更有价值的信息的问题上，我国的智能交通发展仍然处于开始阶段。如何运用大数据技术，有效分析利用交通大数据，实现大数据的可视化，使其发挥出应有的价值，是现阶段智能交通发展的重要任务。 1数据可视化基本框架 1.1 数据可视化流程 科学可视化和信息可视化分别设计了可视化流程的参考体系结
构并被广泛应用于数据可视化系统中。可视分析学的基本流程则通过人机交互将自动和可视分析方法紧密结合。从数据到知识的转化方式有两种途径，交互的可视化方法和自动的数据挖掘方法。过程中用户即可以对可视化结果进行交互的修正，也可以调节参数以修正模型。 在相当多的应用场合，异构数据源需要在可视分析或自动分析方法之间被整合。因此，这个流程的第一步需要将数据预处理并转换，导出不同的表达，便于后续的分析，其他的预处理任务包括数据清洗、数据规范、数据归类和异构数据源集成。在任何一种可视化分析过程中，人都是最核心的要素。机器智能虽然在很多场合都比人的效率要高，但是机器只能承担替代一部分人所承担的工作，并不能够最终决策或对知识进行加工和使用。所以数据可视化的目的并不是替代人的判断和决策，而是为人所用，增强人的能力，提高人的效率。 1.2数据可视化流程中的核心要素数据可视化流程中的核心要 素包括 3 个方面。 1.2.1 数据表示与变换数据可视化的基础是数据表示和变换。为了允许有效的可视化、分析和记录，输入数据必须从原始状态变换到一种便于计算机处理的结构化数据表示形式。通常这些结构存在于数据本身，需要研究有效的数据提炼或简化方法以最大程度地保持信息和 知识的内涵及相应的上下文。
大数据外文翻译参考文献综述
大数据外文翻译参考文献综述 (文档含中英文对照即英文原文和中文翻译) 原文： Data Mining and Data Publishing Data mining is the extraction of vast interesting patterns or knowledge from huge amount of data. The initial idea of privacy-preserving data mining PPDM was to extend traditional data mining techniques to work with the data modified to mask sensitive information. The key issues were how to modify the data and how to recover the data mining result from the modified data. Privacy-preserving data mining considers the problem of running data mining algorithms on confidential data that is not supposed to be revealed even to the party
running the algorithm. In contrast, privacy-preserving data publishing (PPDP) may not necessarily be tied to a specific data mining task, and the data mining task may be unknown at the time of data publishing. PPDP studies how to transform raw data into a version that is immunized against privacy attacks but that still supports effective data mining tasks. Privacy-preserving for both data mining (PPDM) and data publishing (PPDP) has become increasingly popular because it allows sharing of privacy sensitive data for analysis purposes. One well studied approach is the k-anonymity model [1] which in turn led to other models such as confidence bounding, l-diversity, t-closeness, (α,k)-anonymity, etc. In particular, all known mechanisms try to minimize information loss and such an attempt provides a loophole for attacks. The aim of this paper is to present a survey for most of the common attacks techniques for anonymization-based PPDM & PPDP and explain their effects on Data Privacy. Although data mining is potentially useful, many data holders are reluctant to provide their data for data mining for the fear of violating individual privacy. In recent years, study has been made to ensure that the sensitive information of individuals cannot be identified easily. Anonymity Models, k-anonymization techniques have been the focus of intense research in the last few years. In order to ensure anonymization of data while at the same time minimizing the information
工业大数据分析综述：模型与算法
摘要：随着条形码、二维码、RFID、工业传感器、自动控制系统、工业互联网、ERP、CAD/CAM/CAE等信息技术在工业领域的广泛应用，大量与工业生产活动相关的数据被实时采集并存储到企业的信息系统中。对这些数据进行分析，有助于改进生产工艺、提高生产效率、降低生产成本，为实现智能制造奠定基础。因此，工业大数据分析引起了工业界和学术界的广泛关注。模型和算法是大数据分析理论和技术中的两个核心问题。介绍了工业大数据分析的基本概念，综述了几种流行的工业大数据分析模型在工业大数据分析领域的应用情况以及相应求解算法方面的研究成果，并探索了大数据分析模型和算法的未来研究方向。 关键词：工业大数据; 大数据分析; 模型; 算法; 智能制造 1 引言 当今时代，信息化和工业化的融合已经成为发展趋势，《中国制造2025》指出：“新一代信息技术与制造业深度融合，正在引发影响深远的产业变革，形成新的生产方式、产业形态、商业模式和经济增长点”。工业大数据在两化融合过程中起着至关重要的作用，国务院颁发的《促进大数据发展行动纲要》把发展工业大数据列为主要任务之一：“推动大数据在工业研发设计、生产制造、经营管理、市场营销、售后服务等产品全生命周期、产业链全流程各环节的应用，分析感知用户需求，提升产品附加价值，打造智能工厂。建立面向不同行业、不同环节的工业大数据资源聚合和分析应用平台”。工业大数据是指在工业领域中产生的大数据。随着信息化与工业化的深度融合，信息技术渗透到了工业企业产业链的各个环节，条形码、二维码、射频识别（radio frequency identification，RFID）、工业传感器、工业自动控制系统、工业互联网、企业资源计划（enterprise resource planning，ERP）、计算机辅助设计（computer
大数据云计算文献综述
大数据云计算文献综述 一个大数据的调查 摘要：在这篇论文中，我们将回顾大数据的背景以及当前发展状况。我们首先介绍大数据的一般应用背景以及回顾涉及到的技术，例如：云计算、物联网、数据中心，以及Hadoop。接下来我们着重大数据价值链的四个阶段，也就是：数据生成，数据采集，数据存储和数据分析。对于每个阶段，我们介绍应用背景，讨论技术难题以及回顾最新技术。最后，我们介绍几个大数据的代表性应用，包括企业管理，物联网，在线社交网络，媒体应用，集成智慧，以及智能电网。这些讨论旨在提供一个全面的概述以及对读者感兴趣的领域的蓝图。这个调查包括了对开放问题和未来方向的讨论。 关键字大数据云计算物联网数据中心Hadoop 智能电网大数据分析 1、背景 1.1大数据时代的曙光 在过去的二十年，数据在各种各样的领域内爆炸式增长。按照2011年来自国际数据公司（IDC）的报告，世界上总共的创建及复制的数据量达到1.8zb,在五年内增长了大约九倍[1]。在未来这个数字至少每两年增加一倍。在全球数据的爆炸增长下，大数据这个词主要来描述巨大的数据集。与传统的数据集相比，大数据通常包括非结构化数据，这需要更实时的分析。 另外，大数据也能在发现新价值上带来新优势，帮助我们帮助我们获得一个深入隐藏价值的认识，也导致新挑战，例如，如何有效地组织和管理这样的数据集。
近日，行业产生兴趣的大数据的高潜力，许多政府机构公布主要计划加快大数据的研究和应用[2]。此外，大数据问题往往覆盖在公共媒体，如经济学[3，4]，纽约时报[5]，和全国公共广播电台[6,7]。这两个主要的科学期刊，Nature和Science，还开通了专栏讨论大数据的挑战和影响[8,9]。大数据的时代已经到来超越一切质疑[10]。 目前，与互联网公司的业务相关联的大数据快速增长。例如，谷歌处理的数据达数百拍字节（PB），Facebook的生成日志数据每月有超过10 PB，百度一家中国公司百度，业务流程有数十PB的数据，而阿里巴巴的子公司淘宝每天的网上交易产生几十太字节（TB）的数据。图1示出的全球数据量的热潮。当大型数据集的数量急剧上升，它也带来了许多具有挑战性的问题，解决方案如下： 图一、持续增长的数据 信息技术的最新发展（IT）使其更容易以产生数据。例如，每分钟有平均72个小时的视频上传到YouTube[11]。因此，我们面临的主要挑战是从广泛分布的数据源中收集和整合大量的数据。 云计算和物联网（IOT）的快速发展进一步促进数据的大幅增长。云计算提供了安全措施，访问网站以及数据资产的渠道。在物联网的典范，遍布世界各地的传感器正在收集和传送数据到云端进行存储和处理。这样的数据在数量和相互关系将远远超过对IT架构和现有企业的基础设施的能力，以及它的实时要求也将极大地强调可用的计算能力。日益增长的数据造成怎样在当前硬件和软件的基础上存储和管理如此庞大的异构数据集的问题。