大数据综述
Computer Science and Application 计算机科学与应用, 2018, 8(10), 1503-1509
Published Online October 2018 in Hans. https://www.sodocs.net/doc/0f2169531.html,/journal/csa
https://https://www.sodocs.net/doc/0f2169531.html,/10.12677/csa.2018.810163
Overview on Big Data
Kaiyue Liu
China University of Mining & Technology (Beijing), Beijing
Received: Oct. 1st, 2018; accepted: Oct. 11th, 2018; published: Oct. 19th, 2018
Abstract
As a current popular technical, big data has received wide attention from every industry. In order to further understand big data, this paper comprehensively describes big data from the six aspects: The basics of big data, the origin and development status of big data, big data processing, big data application, big data challenges and the future of big data. The basics of big data include the con-cepts and differences between big data and traditional databases, and the characteristics of big data. The big data processing includes generating and getting data, preprocessing data, data sto-rage, analyzing and mining data. This article is a systematic review of big data, and can establish a good knowledge system for scholars who are new to big data.
Keywords
Big Data, Data Storage, Data Mining, Data Visualization, Big Data Application
大数据综述
刘凯悦
中国矿业大学(北京)，北京
收稿日期：2018年10月1日；录用日期：2018年10月11日；发布日期：2018年10月19日
摘要
大数据作为当今的热点技术，受到了各行各业的广泛关注。为了进一步认识大数据，本文从大数据的基础、大数据的起源和发展现状、大数据的处理流程、大数据的应用、大数据面临的挑战、大数据未来展望六个方面对大数据进行了综合性描述。其中大数据基础包括大数据和传统数据库的概念和区别、大数据的特性，处理流程包括数据生成和获取、数据预处理、数据存储、数据分析挖掘。本文是大数据的系统性综述，可以对初次接触大数据的学者建立了良好的知识体系。
刘凯悦
关键词
大数据，数据存储，数据挖掘，数据可视化，大数据应用
Copyright ? 2018 by author and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY).
https://www.sodocs.net/doc/0f2169531.html,/licenses/by/4.0/
1. 引言
近几年，由于移动互联网、物联网、云计算等技术的迅速发展，产生了海量的大规模数据。数据爆炸将人们带入了一个新的时代——大数据时代，如何存储、处理批量数据已经成为一个值得研究和讨论的问题。大数据技术的迅速发展推动了社会进步，国内外的许多甚至高校开展了新的一门学科即数据科学。大数据可以应用到诸多领域，人们通过大数据技术获取海量数据，并对数据进行处理和分析，得到许多对未来具有研究和改进意义的结果。大数据对现代社会的发展做出的贡献千千万万，本文主要针对大数据的概念、技术、应用等各方面进行综合性描述。
2. 大数据基础
2.1. 大数据和传统数据库
数据库是按照数据结构来组织、存储和管理数据的仓库，在大数据这个概念出现以前，人们一直是应用数据库来存储和管理一些相对简单小型的数据。随着信息技术的发展和数据量的迅速增长，传统数据库在有些方面已经不能满足人们的需求，由此衍生出大数据这一概念。
大数据又称为巨量数据、海量数据、大资料等，是指无法在一定时间范围内通过人工或计算机进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产[1]。
大数据和传统数据库有许多区别：首先，从数据规模和类型来看，传统数据库通常是以MB为单位且数据种类单一。但从大数据的数据单位很大，通常以GB、TB、PB甚至EB、ZB为单位，且数据种类繁多；其次，从模式和数据关系来看，传统数据库是先有模式再产生数据的。而大数据很难预先确定模式，甚至有些时候模式是会随着数据量的增加而改变的；最后，从处理对象上来看，传统数据库中的数据仅仅作为处理对象。但大数据中是要将数据作为一种资源来帮助分析其他领域的诸多问题的。
2.2. 大数据的特性
大数据具有5V特性，即大量(Volume)、高速(Velocity)、多样(Variety)、价值密度低(Value)、真实性(Veracity)。
Volume，主要体现在数据存储量大和数据增量大。数据规模庞大是大数据最主要的特性，而随着云计算等技术的发展，数据量也不断在增长，数据量已从GB、TB再到PB字节，甚至已经开始以EB和ZB字节来计量[2]。
Velocity，高速性指的是数据的产生和处理速度快。数据可以通过社交媒体、定位系统等应用快速大量地产生。同时数据的处理速度也应加快，只有快速适时处理才可以更加有效的利用得到的数据。
Variety，多样化主要体现在格式多和来源多两个方面。大数据产生的数据类型繁多，其中包括结构
刘凯悦
化、半结构化和非结构化数据，甚至包括非完整和错误数据[2]。这是因为数据的来源多种多样，例如网页日志、电子邮件、传感器等。
Value，价值密度低是指，虽然数据量庞大但其中具有利用价值的信息并不多。需要通过特定的技术进行处理和进一步挖掘，提取最有用的信息来加以利用[3]。
Veracity，数据的真实性和质量决定数据带给我们的价值[3]。高质量的数据一定是具有真实性的，但有时真实的数据并不一定代表着高质量。我们可以通过一些大数据技术，在保证数据真实性的同时提高数据的质量，使数据能够更好的为我们所用。
3. 大数据起源和发展现状
3.1. 大数据的起源
目前，IT界普遍认为大数据起源于谷歌的“三驾马车”：谷歌文件系统、MapReduce和BigTable。谷歌工程师在2003年至2006年先后公开发表了这几项核心技术的学术论文，引起了巨大反响，吸引了众多互联网公司的注意。在各大互联网公司的技术推动下，最终诞生了Hadoop系统，并在2008年6月处于相对稳定的状态。Hadoop发展过程中一个标志性的公司是Facebook，其在Hive上投入大量资源。Hadoop高扩展、高容错的优点很受业内欢迎，被广泛应用于离线分析场景。2011年5月，在“云计算相遇大数据”为主题的EMC World 2011会议中，EMC抛出了Big Data这一概念。Facebook公司在2012年将重点转移至Presto，其查询速度很快，没有用到MapReduce，很快便超过了Hive。另外，伯克利大学AMP实验室开发了高速、灵活的Spark系统，Spark的兴起是Hadoop生态圈一个比较关键的转折点，在迭代计算和实时分析领域占领了绝对优势。
3.2. 大数据的发展现状
随着大数据技术的不断发展，许多国家都认识到大数据对国家发展的重要性。以美国为首的多个国家先后发布了大数据的国家发展战略，联合国也发布了“全球脉搏”项目的重要成果——名为《大数据促发展: 挑战与机遇》的大数据政务白皮书。美国政府投入了巨资到大数据的研究领域，将其作为重要的战略发展方向，并将大数据技术发展提升到国家安全和未来的发展战略的高度[4]。
我国科技界与信息技术密切相关的产业领域对大数据技术与应用的关注程度正在逐渐增强，并引起了政府相关部门的重视。2013年3月在上海召开了题为“大数据技术与应用中的挑战性科学问题”双清论坛，并将“大数据技术与应用中的挑战性科学问题”列入2014年的项目指南中，拟以重点项目群的方式支持和推动相关领域的基础研究[2]。自2016年开始，国家信息中心已经连续3年利用大数据技术反映“一带一路”的建设进展和成效。除此之外，大数据技术目前已经在很多领域有了具体应用案例。2018年9月19日，国家信息发布中心在天津举办的2018年夏季达沃斯论坛上发布了《“一带一路”大数据报告2018》。该报告的发布，能够为国内外各界了解、参与“一带一路”建设提供更为丰富的信息。2018年9月20日，国家发展改革委国际合作中心(以下简称“国际合作中心”)举办第三期“国合党建讲堂”，邀请国家信息中心大数据发展部主任于施洋作题为“以大数据思维助力创新发展改革工作”的专题讲座。
目前，大数据行业主要分为三类产业：数据服务产业、基础支撑产业、融合应用产业。数据服务产业是以大数据为核心资源，以大数据应用为主业开展商业经营的产业，包括数据交易、数据采集、数据应用服务、基于大数据的信息服务、数据增值服务等。基础支撑产业是指提供直接应用于大数据处理相关的软硬件、解决方案及其他工具的产业，例如提供大数据存储管理、大数据预处理软硬件、大数据计算、大数据可视化产品等。融合应用产业是指在业务应用中产生大数据，并与行业资源相结合开展商业经营的产业，例如政务大数据、金融大数据、交通大数据、工业大数据等。
刘凯悦
4. 大数据技术流程
大数据技术的主要流程可以分为：数据生成和获取、数据预处理、数据存储、数据计算分析挖掘、数据结果应用。
4.1. 数据生成和获取
数据的来源多种多样，可以来自物联网、互联网、各类传感器等。同时数据的方式也是多种多样的，可以是数字、文字、声音、图片、视频等。中国工程院李德毅院士认为：大数据的主要来源有三方面: 自然界的大数据、生命和生物的大数据和社交大数据。自然界的大数据主要是机器与机器交互产生的数据，主要通过各类传感器来采集[4]。生命和生物的大数据主要研究基因组学、蛋白质组学、代谢组学等生物学数据。社交大数据主要来源于人类社会活动，而互联网通常为其载体。目前大数据的主要研究对象集中在社交数据和自然数据，同时生命和生物的大数据对医学方面的贡献也不容小视。
4.2. 数据预处理
现实中收集到的真实数据通常都是不完整的脏数据，没有办法直接进行数据挖掘和处理。所以为了提高数据的质量，通常需要对获取到的数据进行预处理，也就是在主要的数据处理之前对数据做出的一些基本处理。
数据预处理的内容主要有：数据审核、数据筛选、数据排序。数据审核主要审核数据的准确性、适用性、及时性、一致性。数据筛选是对审核过程中发现的错误进行纠正的过程，通常包括两方面内容：剔除不符合要求的数据、筛选出符合条件的数据。数据排序是按照一定的顺序把数据进行排列，以便于研究者进一步观察和分析。
数据预处理的主要方法有数据清理、数据集成、数据变换、数据规约。数据清理的主要目的为格式标准化、清除异常数据、纠正错误。数据集成是将多个数据源中的数据结合起来统一存储。数据变换是利用规范化、平滑聚集、数据概化等方式将数据转变成有利于数据挖掘的形式。数据规约可以得到规约表，节省挖掘分析时间且仍然能保持数据的完整性。
4.3. 数据存储
传统的数据存储方式可以分为块存储、文件存储、对象存储，大数据的存储方式可以分为分布式系统、NoSQL数据库、云数据库。分布式系统主要包含分布式文件系统HDFS、分布式键值系统。其中分布式文件系统是一个高度容错性系统，适用于批量处理并且能够提供高吞吐量的数据访问。分布式键值系统可以用于存储关系比较简单的半结构化数据，其存储和管理的是对象而不是数据块。NoSQL数据库的发展是由于关系型数据库已经无法满足大量数据的管理需求，而NoSQL数据库可以存储超大规模的数据，具有较好的横向扩展能力。云数据库是基于云计算技术发展的一种共享基础构架的方法，是部署和虚拟化在云计算环境中的数据库。
大数据存储技术路线包括分布式架构、大数据一体机、MPP混合构架。其中分布式构架包括Hadoop、MapReduce等，随着相关技术的不断进步，其应用场景也将逐步扩大。大数据一体机是专门为大数据分析处理而设计的软硬件结合的产品，具有良好的稳定性和纵向扩展性。MPP混合构架重点面向行业大数据，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，具有高性能和高扩展性的特点。
4.4. 数据分析挖掘
数据分析和挖掘就是从大量的数据中提取出隐含在其中的、具有潜在价值的信息，是统计学、人工
刘凯悦
智能、数据库技术的综合运用。
大数据的计算分析框架主要包括批处理框架、流处理框架、交互式计算框架、混合处理框架、图数据处理框架。
批处理框架是以MapReduce为代表的，MapReduce是一个基于集群的高性能并行计算平台。Map表示映射，Reduce表示化简，所以MapReduce可以理解为把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。MapReduce具有易于编程、良好的扩展性、高容错性、适合PB级以上海量数据的离线处理等特点。
流处理框架Storm是一个分布式的、容错的实时计算系统。Storm集群包含一个主控节点和若干个工作节点，主控节点接受任务并分配给工作节点执行。Strom具有可持续流处理、可扩展、高容错、高可靠、结构丰富、支持多语言开发等优势。
交互式计算框架Spark是基于内存计算的大数据并行计算框架，提高了在大数据环境下数据处理的实时性，同时还保证了高容错性和高可伸缩性。Spark的核心概念是RDD(resilient distributed dataset)，指的是一个只读的、可分区的分布式数据集。RDD除了提供内存存储和各种类型并行计算外，还可以自动从故障中恢复，实现了基于Lineage的容错机制[4]。
混合处理框架Lambda是在结合了批处理和流处理两种架构的混合架构。在处理数据时，分别将数据送入批处理层和实时处理层，这样可以使得得到的结果更加快速且精确，该混合框架对不同业务需求进行了良好的平衡[4]。
图处理框架Pregel是一个用于分布式图计算、基于整体同步并行计算模型的计算框架。Pregel是以节点为中心进行计算的，每个节点在初始时处于活跃状态，完成计算后进入不活跃状态。Pregel具有良好的容错机制、可以持久性存储、采用主/从结构实现整体功能等特点。
在数据分析挖掘的过程中，可视分析是十分重要的方法，其可以充分挖掘人对于可视化信息的认知能力优势，帮助人们更直观高效地了解大数据隐含的信息。数据可视化分析是指在数据分析的同时利用支持信息可视化的用户界面或人机交互方式，融合人的认知能力和计算机的计算能力，便于获得大规模复杂数据洞察力的一门技术[5]。其通常可以分为2D法和多维法，例如时间可视化、层次法可视化。5. 大数据应用
大数据已被广泛的认为是创造新价值的利器，具有无可估量的资源价值。大数据对人类的贡献已扩散到各个领域，推动各个领域的快速发展，例如医疗、教育、商业、工业、农业等。
在医疗方面，通过采集和分析医疗机构产生的实验室记录、用药记录、手术记录、住院记录、急诊记录等各类大数据，总结出其隐含价值并应用在未来的医学研究中[6]。
大数据还可以应用在智能电网、工业互联网、排水系统、智能交通等工业领域，通过传感器等采集数据装置，收集大量数据进行分析和处理，最终得到优化方案或改进措施。
在商业领域，股票、保险、银行等行业仍离不开大数据的应用。通过大数据技术可以利用股票走势数据、保险报销人群数据、银行汇率数据等得到一些预测数据，帮助人们更好的选择有利的商业方向。
总之，大数据对社会做出的贡献体现在方方面面，使得各行各业的发展更具有规划性和方向性。大数据时代为人们提供了便利、高效、高品质的生活环境，给人们的生活带来了翻天覆地的变化。
6. 大数据面临的挑战
6.1. 技术方面的挑战
首先从网络方面考虑，大数据的传输需要一个超高速的网络来进行支撑，这对目前的网络技术是一
刘凯悦
个十分重要的挑战。其次从机器学习方面来看，机器学习等分析算法需要更加智能化、高效化发展，才能更好的适应大数据时代。最后从数据存储方面，获取到的数据经过预处理后需要更加高效的存储方式。
6.2. 政策方面的挑战
大数据的兴起也为人们带来一些负面的影响，例如隐私泄漏这一关键问题。尤其是在网络方面，人们的个人信息基本上一览无余。在平时生活中甚至会在不知情的情况下被泄漏了个人信息，总是会接到各类推销电话。所以政府机关应尽快建立大数据背景下完善的信息安全法律法规体系，建立大数据技术的行业通用标准，才能有效减少大数据带来的消极影响[7]。
6.3. 国际关系方面的挑战
大数据蕴含着丰富的政治经济文化社会信息，一个国家的科技发展、社会动向、经济浮动、军事行动、国家安全等信息均可以利用大数据技术分析并传递出来[8]。所以各个国家应时刻注意本国重要信息安全问题，警惕非法泄漏信息，力争掌握数据信息的主动权。这样以来，可以有效防止因数据信息权力争夺导致的科技战争。
7. 大数据未来展望
大数据时代的有些未来是可以预见的。首先是数据库能力的提升，谷歌的Spanner和亚马逊的Redshift都体现了这种变化：数据库的能力越来越强，它可以解决很多大数据的问题。而同时数据也将逐渐趋于资源化，资源化是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因此，企业必须要提前制定大数据营销战略计划，抢占市场先机。
其次，大数据未来会与云计算更加紧密深入地结合。大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。物联网、工业互联网等新兴计算形态，将让大数据营销发挥出更大的影响力[9]。目前，工业互联网平台的应用还处于发展的初级阶段，而工业互联网平台的未来，则需要设备物联和系统互联全面打通。所以应当在数据管理和分析应用方面为工业互联网平台赋能[10]。而大数据技术未来在物联网方面的应用可以在统计技术标准、优化数据安全管理、控制成本投入等方面进行着重发展和改进[11]。
最后，未来的大数据会和人工智能这一当今热门核心技术进行完美地结合。我们可以通过人工智能技术给大数据建立更好的索引，人工智能促进大数据发展和大数据融合会是一个很重要的发展方向。虽然人工智能技术是大数据分析的利器，但面临大数据问题时，现有的机器学习、深度学习、计算智能等人工智能分析方法、大数据平台都存在许多不足，难以有效解决大数据的诸多问题[12]。目前进一步研究的主要方向有：分布式深度学习算法、设计机器学习模型并行策略、分布式优化算法、优化分布式集群环境、分配深度神经网络的并行训练、优化深度学习参数、建立先进的大数据平台等。
8. 小结
本文针对大数据的概念、特性、起源和现状进行了详细讲解。并对大数据的主要技术：数据生成和获取、数据预处理、数据存储、数据分析挖掘进行了综合性描述。最后阐述了大数据对各行各业的积极贡献和影响，并提出了大数据技术现在仍面临的技术、政策、国际关系方面的挑战以及大数据未来发展趋势的展望。
在大数据技术发展的关键阶段，我国应该积极倡导大量科学研究投入到大数据的应用研究中。将大数据技术应用到各个领域，并与人工智能、深度机器学习、云计算等关键技术相结合，建立自己的数据科学体系、政策体系、人才体系等。
刘凯悦致谢
首先感谢我的导师兰德品老师，在兰老师的耐心指导和帮助下，我完成了学校的大学生创新项目——大数据技术的应用研究。在这次项目中我从一个对大数据知识一无所知的学生逐渐学习和成长，最终建立了良好的大数据知识体系，并对这个行业有了自己的见解和感受。他严谨求学的治学作风和一丝不苟的敬业精神对我影响深刻，使我不仅在学习和研究中受益颇深，在为学之道上也有巨大的收获，是我学习和生活上的榜样。
其次要感谢同我一起学习和成长的小组同学们，在研究和学习过程中我们积极配合，不懂的问题大家共同探讨共同学习，使我分析解决问题的能力得到了很好的锻炼。
最后，感谢本文最后所列的参考文献作者们，在认识大数据的道路上是他们的研究成果及文献给了我很大的帮助。
基金项目
中国矿业大学(北京)科学研究基金项目“大数据技术的应用研究”(编号C201707543)。
参考文献
[1]陈军成, 丁治明, 高需. 大数据热点技术综述[J]. 北京工业大学学报, 2017, 43(3): 358-367.
[2]王成红, 陈伟能, 张军, 宋苏, 鲁仁全. 大数据技术与应用中的挑战性科学问题[J]. 中国科学基金, 2014(2):
92-98.
[3]王晨晨, 孙睿. 浅析大数据的发展[J]. 中国市场, 2018(27): 194-196.
[4]张锋军. 大数据技术研究综述[J]. 通信技术, 2014, 47(11): 1240-1248.
[5]任磊, 杜一, 马帅, 张小龙, 戴国忠. 大数据可视分析综述[J]. 软件学报, 2014, 25(9): 1909-1936.
[6]邢丹, 姚俊明. 医疗健康大数据: 概念、特点、平台及数据集成问题研究[J]. 物联网技术, 2018(8): 104-106.
[7]张茂月. 大数据时代个人信息数据安全的新威胁及其保护[J]. 中国科技论坛, 2015(7): 117-122.
[8]孙睿, 王晨晨. 大数据时代面临的挑战[J]. 中国市场, 2018(26): 187-196.
[9]王建民. 工业大数据是工业互联网的核心[J]. 中国信息化周报, 2018(14): 1-2.
[10]李琼. 大数据应用于工业互联网平台的融合[J]. 软件和集成电路, 2018(8): 52-53.
[11]李鹏飞. 大数据时代物联网技术的应用与发展[J]. 西部皮革, 2018(15): 69.
[12]王万良, 张兆娟, 高楠, 赵燕伟. 基于人工智能技术的大数据分析方法研究进展[J]. 计算机集成制造系统.
https://www.sodocs.net/doc/0f2169531.html,/kcms/detail/11.5946.tp.20180817.1005.011.html
1. 打开知网页面https://www.sodocs.net/doc/0f2169531.html,/kns/brief/result.aspx?dbPrefix=WWJD
下拉列表框选择：[ISSN]，输入期刊ISSN：2161-8801，即可查询
2. 打开知网首页https://www.sodocs.net/doc/0f2169531.html,/
左侧“国际文献总库”进入，输入文章标题，即可查询
投稿请点击：https://www.sodocs.net/doc/0f2169531.html,/Submission.aspx
期刊邮箱：csa@https://www.sodocs.net/doc/0f2169531.html,
大数据文献综述
信息资源管理文献综述 题目：大数据背景下的信息资源管理 系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月 大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。
关键词：大数据信息资源管理与利用 目录 大数据概念.......................................................... 大数据定义...................................................... 大数据来源...................................................... 传统数据库和大数据的比较........................................ 大数据技术.......................................................... 大数据的存储与管理.............................................. 大数据隐私与安全................................................ 大数据在信息管理层面的应用.......................................... 大数据在宏观信息管理层面的应用.................................. 大数据在中观信息管理层面的应用.................................. 大数据在微观信息管理层面的应用.................................. 大数据背景下我国信息资源管理现状分析................................ 前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日
教育大数据分析：方法与探索-最新教育资料
教育大数据分析：方法与探索 一、大数据与大数据分析概述 随着数据获取、存储等技术的不断发展，以及人们对数据的重视程度不断提高，大数据得到了广泛的重视，不仅仅在IT领域，包括经济学领域、医疗领域、营销领域等等。例如，在移动社交网络中，用户拍照片、上网、评论、点赞等信息积累起来都构成大数据；医疗系统中的病例、医学影像等积累起来也构成大数据；在商务系统中，顾客购买东西的行为被记录下来，也形成了大数据。 时至今日，大数据并没有特别公认的定义。有三个不同角度的定义：（1）“大数据”指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理并整理成为人类所能解读的信息[1]。（2）“大数据”指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理的方法的数据[2]。（3）“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 通常把大数据的特点归纳为4个V，即数据量大（Volume）、数据类型多（Varity）、数据的价值密度低（Value）以及数据产生和处理的速度非常快（Velocity）。 对大数据进行分析可以产生新的价值。数据分析的概念诞生
于大数据时代之前，但传统的数据分析和大数据分析是不同的。传统的数据分析往往是由客户提出一个问题，分析者围绕该问题建立一个系统，进而基于该系统解释这个问题；而大数据分析有时候并没有明确的问题，而是通过搜集数据，浏览数据来提出问题。 另一方面，传统的数据分析是在可用的信息上进行抽样，大数据分析则是对数据进行不断的探索，通过全局分析连接数据，达到数据分析的目的。 传统的数据分析的方法，往往是大胆假设小心求证，先做出假设，再对数据进行分析，从而验证先前的假设；而大数据分析则是对大数据进行探索来发现结果，甚至发现错误的结果，之后再通过数据验证结果是否正确。 因此，传统的数据分析可以看成一种静态的分析，大数据分析可以看成一种动态的分析。尽管如此，大数据分析和传统数据分析也并非是泾渭分明的，传统数据分析的方法是大数据分析的基础，在很多大数据分析的工作中仍沿用了传统数据分析的方法。 基于上述讨论，我们给出“大数据分析”的定义：用适当的统计分析方法对大数据进行分析，提取有用信息并形成结论，从而对数据加以详细研究和概括总结的过程。 大数据分析分为三个层次[3]，即描述分析、预测分析和规范分析。描述分析是探索历史数据并描述发生了什么（分析已经
2020教育大数据行业趋势及存在的问题
2020年教育大数据行业趋势及存在的问题 2020年
目录 1.教育大数据行业前景趋势 (4) 1.1产品种类趋于多样化 (4) 1.2数据安全意识不断增强 (4) 1.3产学研合力谋求突破 (5) 1.4教育数据研究人员不断增加 (5) 1.5市场发展前景广阔 (6) 1.6行业协同整合成为趋势 (6) 1.7生态化建设进一步开放 (7) 1.8需求开拓 (7) 2.教育大数据行业现状 (8) 2.1教育大数据行业定义及产业链分析 (8) 2.2教育大数据市场规模分析 (10) 2.3教育大数据市场运营情况分析 (10) 3.教育大数据行业存在的问题 (13) 3.1数据标准有待完善 (13) 3.2数据采集覆盖面窄 (13) 3.3模型构建专业性不足 (14) 3.4产品服务单一 (14) 3.5开放共享尚未形成 (15) 3.6隐私保护有待完善 (15)
3.7供应链整合度低 (15) 3.8产业结构调整进展缓慢 (15) 4.教育大数据行业政策环境分析 (16) 4.1教育大数据行业政策环境分析 (16) 4.2教育大数据行业经济环境分析 (17) 4.3教育大数据行业社会环境分析 (17) 4.4教育大数据行业技术环境分析 (17) 5.教育大数据行业竞争分析 (19) 5.1教育大数据行业竞争分析 (19) 5.1.1对上游议价能力分析 (19) 5.1.2对下游议价能力分析 (19) 5.1.3潜在进入者分析 (20) 5.1.4替代品或替代服务分析 (20) 5.2中国教育大数据行业品牌竞争格局分析 (21) 5.3中国教育大数据行业竞争强度分析 (21) 6.教育大数据产业投资分析 (22) 6.1中国教育大数据技术投资趋势分析 (22) 6.2中国教育大数据行业投资风险 (22) 6.3中国教育大数据行业投资收益 (23)
大数据环境下的增强学习综述_仵博
大数据环境下的增强学习综述* 仵 博，冯延蓬，孟宪军，江建举，何国坤 （深圳职业技术学院 教育技术与信息中心，广东 深圳 518055） 摘 要：在大数据应用领域，如何快速地对海量数据进行挖掘是当前大数据应用基础研究的热点和难点，也是制约大数据真正应用的关键．而机器学习是解决该问题的有效途径，本文综述抽象增强学习、可分解增强学习、分层增强学习、关系增强学习和贝叶斯增强学习等五类增强学习方法的研究进展，分析了它们的优势和缺点，指出将监督学习或半监督学习与增强学习相结合是大数据机器学习的有效方法． 关键词：大数据；增强学习；维数灾 中图分类号：TP18 文献标志码：B 文章编号：1672-0318（2014）03-0071-05 增强学习（Reinforcement Learning，简称RL）是一种有效的最优控制学习方法，实现系统在模型复杂或者不确定等条件下基于数据驱动的多阶段优化学习控制，是近年来一个涉及机器学习、控制理论和运筹学等多个学科的交叉研究方向．增强学习因其具有较强的在线自适应性和对复杂系统的自学能力，使其在机器人导航、非线性控制、复杂问题求解等领域得到成功应用[1-4]．经典增强学习算法按照是否基于模型分类，可分为基于模型（Model-based）和模型自由（Model-free）两类．基于模型的有TD学习、Q学习、SARSA和ACTOR-CRITIC等算法．模型自由的有DYNA-Q和优先扫除等算法．以上经典增强学习算法在理论上证明了算法的收敛性，然而，在实际的应用领域，特别是在大数据环境下，学习的参数个数很多，是一个典型的NP难问题，难以最优化探索和利用两者之间的平衡[5-8]．因此，经典增强学习算法只在理论上有效． 为此，近年来的增强学习研究主要集中在减少学习参数数量、避免后验分布全采样和最小化探索次数等方面，达到算法快速收敛的目的，实现探索和利用两者之间的最优化平衡．当前现有算法按照类型可分为五类：1）抽象增强学习；2）可分解增强学习；3）分层增强学习；4）关系增强学习；5）贝叶斯增强学习． 1 抽象增强学习 抽象增强学习（Abstraction Reinforcement Learning，简称ARL）的核心思想是忽略掉状态向量中与当前决策不相关的特征，只考虑那些有关的或重要的因素，达到压缩状态空间的效果[9]．该类算法可以在一定程度上缓解“维数灾”问题．状态抽象原理如图1所示． 目前，状态抽象方法有状态聚类、值函数逼近和自动状态抽象等方法．函数逼近方法难于确保增强学习算法能够收敛，采用线性拟合和神经网络等混合方法来实现函数逼近是当前的研究热点和方向．状态聚类利用智能体状态空间中存在的对称性来压缩状态空间，实现状态聚类．自动状态抽象增 深圳职业技术学院学报 2014年第3期 No.3, 2014 收稿日期：2013-10-14 *项目来源：广东省自然科学基金项目（S2011040004769）和深圳市科技研发资金项目（JCYJ20120617134831736） 作者简介：仵 博（1979-），男，河南桐柏人，副教授，博士，主要研究领域为序贯决策、机器学习和大数据. 冯延蓬（1980-），男，山东潍坊人，讲师，硕士，主要研究领域为无线传感器网络、智能决策和大数据. 孟宪军（1979-），男，北京大兴人，助理研究员，博士，主要研究领域为数据挖掘、自然语言处理和机器学习. 江建举（1976-），男，河南内乡人，高级工程师，硕士，主要研究机器人控制、群智能和大数据. 何国坤（1980-），男，广东深圳人，高级工程师，硕士，主要研究领域为软件工程、机器学习和大数据. https://www.sodocs.net/doc/0f2169531.html,- 71 -
大数据综述
Computer Science and Application 计算机科学与应用, 2018, 8(10), 1503-1509 Published Online October 2018 in Hans. https://www.sodocs.net/doc/0f2169531.html,/journal/csa https://https://www.sodocs.net/doc/0f2169531.html,/10.12677/csa.2018.810163 Overview on Big Data Kaiyue Liu China University of Mining & Technology (Beijing), Beijing Received: Oct. 1st, 2018; accepted: Oct. 11th, 2018; published: Oct. 19th, 2018 Abstract As a current popular technical, big data has received wide attention from every industry. In order to further understand big data, this paper comprehensively describes big data from the six aspects: The basics of big data, the origin and development status of big data, big data processing, big data application, big data challenges and the future of big data. The basics of big data include the con-cepts and differences between big data and traditional databases, and the characteristics of big data. The big data processing includes generating and getting data, preprocessing data, data sto-rage, analyzing and mining data. This article is a systematic review of big data, and can establish a good knowledge system for scholars who are new to big data. Keywords Big Data, Data Storage, Data Mining, Data Visualization, Big Data Application 大数据综述 刘凯悦 中国矿业大学(北京)，北京 收稿日期：2018年10月1日；录用日期：2018年10月11日；发布日期：2018年10月19日 摘要 大数据作为当今的热点技术，受到了各行各业的广泛关注。为了进一步认识大数据，本文从大数据的基础、大数据的起源和发展现状、大数据的处理流程、大数据的应用、大数据面临的挑战、大数据未来展望六个方面对大数据进行了综合性描述。其中大数据基础包括大数据和传统数据库的概念和区别、大数据的特性，处理流程包括数据生成和获取、数据预处理、数据存储、数据分析挖掘。本文是大数据的系统性综述，可以对初次接触大数据的学者建立了良好的知识体系。
大数据文献综述
信息资源管理文献综述题目：大数据背景下的信息资源管理 系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月
大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。 关键词：大数据信息资源管理与利用 目录 大数据概念 (3) 大数据定义 (3) 大数据来源 (3) 传统数据库和大数据的比较 (3) 大数据技术 (4) 大数据的存储与管理 (4)
大数据隐私与安全 (5) 大数据在信息管理层面的应用 (6) 大数据在宏观信息管理层面的应用 (6) 大数据在中观信息管理层面的应用 (7) 大数据在微观信息管理层面的应用 (8) 大数据背景下我国信息资源管理现状分析 (9) 前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日 报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要举措. 当前大数据分析者面临的主要问题有:数据日趋庞大，无论是入库和查询，都出现性能瓶颈;用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高;使用的模型越来越复杂，计算量指数级上升;传统技能和处理方法无法应对大数据挑战. 正文：
教育大数据分析领域竞品分析
互联网教育大数据分析领域竞争产品分析报告 中国的教育永远没有解决学生如何独立思考、自由精神和人格平等的问题，永远没有让学生提出疑问、不找标准答案，没有解决如何锻炼他们的创造能力的问题。——俞敏洪 【中国互联网教育整体趋势】 纵观中国教育互联网产业，截止到2015年11月31日，通过数据显示，记录在案的互联网教育公司共有1487家，在整体互联网企业中占比约7%，比例在其他诸行业中较为靠前。在细分方向上，在线教育创业的四大龙头分别K12、儿童早教、职业教育、语言学习，它们总共囊括65%互联网教育市场份额。这个行业的创业在产品模式和参与者背景上都出现了一些新变
化，家教O2O在创业项目中变着越来越频繁。数据显示教育 +O2O项目中，有超过60%的产品都2014年之后才成立的，而且在2015年的上半年又一波较为集中的获投热潮。越来越多传统教育的从业者甚至是传统教育机构的创办者，也出现在了互联网教育的创业市场中，比较典型的有疯狂老师、轻轻家教、跟谁学等。其中很多公司都获得了投融资的支持： 对于互联网教育，BAT在2015年都有不同程度的加码布局。 百度在今年上半年最主要的动作，是在今年6月时拆分旗下的作业帮，成立独立新公司——小船出海教育科技（），并且在9月时引入红杉和君联资本的投资。这是百度对自身业务的又一次“精兵简政”，也是百度“航母计划”的试水和实践，有助于进一步提升和完善百度在O2O和K12教育上的市场布局。阿里巴巴在今年5月份把淘宝同学升级为淘宝教育，并表示将展开更多与线下教育机构的合作，帮助优质的线下机构向线上机构转型。而在就在刚刚过去的一周，阿里还推出了在线直播客产品，并针对农村等教育资源匮乏地区，联合第三方服务商
大数据时代的空间数据挖掘综述
第37卷第7期测绘与空间地理信息 GEOMATICS ＆SPATIAL INFOＲMATION TECHNOLOGY Vol．37，No．7收稿日期：2014－01－22 作者简介：马宏斌（1982－），男，甘肃天水人，作战环境学专业博士研究生，主要研究方向为地理空间信息服务。 大数据时代的空间数据挖掘综述 马宏斌1 ，王 柯1，马团学 2（1．信息工程大学地理空间信息学院，河南郑州450000；2．空降兵研究所，湖北孝感432000） 摘 要：随着大数据时代的到来，数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题， 介绍了国内外研究中利用大数据处理工具和云计算技术，在空间数据的存储、管理和挖掘算法等方面的做法，并指出了该类研究存在的不足。最后，探讨了空间数据挖掘的发展趋势。关键词：大数据；空间数据挖掘；云计算中图分类号：P208 文献标识码：B 文章编号：1672－5867（2014）07－0019－04 Spatial Data Mining Big Data Era Ｒeview MA Hong －bin 1，WANG Ke 1，MA Tuan －xue 2 （1．Geospatial Information Institute ，Information Engineering University ，Zhengzhou 450000，China ； 2．Airborne Institute ，Xiaogan 432000，China ） Abstract ：In the era of Big Data ，more and more researchers begin to show interest in data mining techniques again．The paper review most unresolved problems left by traditional spatial data mining at first．And ，some progress made by researches using Big Data and Cloud Computing technology is introduced．Also ，their drawbacks are mentioned．Finally ，future trend of spatial data mining is dis-cussed． Key words ：big data ；spatial data mining ；cloud computing 0引言 随着地理空间信息技术的飞速发展，获取数据的手 段和途径都得到极大丰富，传感器的精度得到提高和时空覆盖范围得以扩大，数据量也随之激增。用于采集空间数据的可能是雷达、红外、光电、卫星、多光谱仪、数码相机、成像光谱仪、全站仪、天文望远镜、电视摄像、电子 显微镜、CT 成像等各种宏观与微观传感器或设备，也可能是常规的野外测量、人口普查、土地资源调查、地图扫描、 地图数字化、统计图表等空间数据获取手段，还可能是来自计算机、 网络、GPS ，ＲS 和GIS 等技术应用和分析空间数据。特别是近些年来，个人使用的、携带的各种传感器（重力感应器、电子罗盘、三轴陀螺仪、光线距离感应器、温度传感器、红外线传感器等），具备定位功能电子设备的普及，如智能手机、平板电脑、可穿戴设备（GOOGLE GLASS 和智能手表等），使人们在日常生活中产生了大量具有位置信息的数据。随着志愿者地理信息（Volunteer Geographic Information ）的出现，使这些普通民众也加入到了提供数据者的行列。 以上各种获取手段和途径的汇集，就使每天获取的 数据增长量达到GB 级、 TB 级乃至PB 级。如中国遥感卫星地面站现在保存的对地观测卫星数据资料达260TB ，并以每年15TB 的数据量增长。比如2011年退役的Landsat5卫星在其29年的在轨工作期间，平均每年获取8．6万景影像，每天获取67GB 的观测数据。而2012年发射的资源三号（ZY3）卫星，每天的观测数据获取量可以达到10TB 以上。类似的传感器现在已经大量部署在卫 星、 飞机等飞行平台上，未来10年，全球天空、地空间部署的百万计传感器每天获取的观测数据将超过10PB 。这预示着一个时代的到来，那就是大数据时代。大数据具有 “4V ”特性，即数据体量大（Volume ）、数据来源和类型繁多（Variety ）、数据的真实性难以保证（Veracity ）、数据增加和变化的速度快（Velocity ）。对地观测的系统如图1所示。 在这些数据中，与空间位置相关的数据占了绝大多数。传统的空间知识发现的科研模式在大数据情境下已经不再适用，原因是传统的科研模型不具有普适性且支持的数据量受限， 受到数据传输、存储及时效性需求的制约等。为了从存储在分布方式、虚拟化的数据中心获取信息或知识，这就需要利用强有力的数据分析工具来将
大数据文献综述
信息资源管理文献综述题目：大数据背景下的信息资源管理系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月
大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。 关键词：大数据信息资源管理与利用 目录 大数据概念 (2) 大数据定义 (2) 大数据来源 (2) 传统数据库和大数据的比较 (3) 大数据技术 (3) 大数据的存储与管理 (4) 大数据隐私与安全 (4) 大数据在信息管理层面的应用 (5) 大数据在宏观信息管理层面的应用 (5) 大数据在中观信息管理层面的应用 (6) 大数据在微观信息管理层面的应用 (7) 大数据背景下我国信息资源管理现状分析 (8)
前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日 报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的 大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比 石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞 争制高点的重要举措. 当前大数据分析者面临的主要问题有:数据日趋庞大，无论是入 库和查询，都出现性能瓶颈;用户的应用和分析结果呈整合趋势，对 实时性和响应时间要求越来越高;使用的模型越来越复杂，计算量指 数级上升;传统技能和处理方法无法应对大数据挑战. 正文： 大数据概念 大数据定义 维基百科对大数据的定义则简单明了:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。也就是说大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理 大数据来源 1)来自人类活动:人们通过社会网络、互联网、健康、金融、经济、交通等活动过程所产生的各类数据，包括微博、病人医疗记录、文字、图形、视频等
大数据分析(A)教学大纲
清华大学大数据方向硕士学位 公共必修课课程 数据分析学（I） Data Analytics (I) 开课单位：数据分析学（I）课程组 授课教师: 黎波、张楠、郑路、庞珣、苏毓淞、罗昊、王程韡（暂定） 教学目的： 本课是针对社会科学和管理类研究学开设的数据分析基本课程。通过本课的学习，学生将对（大）数据分析的价值、意义和基本原理建立清晰和比较全面的认识，掌握有关数据发掘、处理、建模和解释的基本原理和方法，了解和熟悉数据分析在社会科学研究、商业分析和公共管理等领域的实际案例。 Data Analytics (I) is a graduate level course mainly designed for students with socialsciences and management background. The objective of the course to give students a broad overview of the basic principles and applications of data analytics. Students will also be familiar with the various aspects of data analytics such as exploring, managing, modeling and interpreting data. Students’ learning will also be enhanced by their exposure to real life applications of data analytics in social science research, business analysis and public management. 主要教材： by Johannes Ledolter, 2013, Wiley
教育行业的大数据未来发展趋势
教育行业的大数据未来发展趋势 大数据引领的风潮仍在继续，大数据革命推动各个领域的发展和变革，教 育已经逐渐迈入大数据时代，那么大数据在教育行业有什么样的发展趋势呢? 趋势一：数据的采集和分析成为基石 教育数据采集与深度分析成为各应用系统的必备功能。教育信息化市场产 品类型丰富，涵盖教学、管理、教研、培训等多种业务。随着教育大数据战略 与应用价值的逐步凸显，越来越多的信息化应用系统将加强数据采集与深度分 析方面的功能，以采集更丰富的教育数据，提升信息系统的智能性和产品竞争力。此外，为了辅助用户解读和理解数据分析结果，可视化技术也越来越流行，成为各应用系统的基础性技术。 趋势二：产品体系多样化 教育大数据产品体系更加丰富、多样化。随着国家考试招生制度的改革及 其他一系列教育改革的推进，应试教育将逐步转向真正的素质教育。提分将不 再是广大师生和家长的唯一需求，教育的需求会变得越来越多样化和个性化。 为了满足用户的多元化需求，教育大数据市场将出现越来越多提供特色服务的 产品。据某机构调查，我国基础教育领域大数据产品主要的需求是学习分析、 预警类产品，辅助教育管理、决策类产品，教育教学评价类产品和个性化服务 类产品。 趋势三：产业链分工精细化
教育大数据产业链分工更加精细化、服务更加专业化。追求极致是互联网 思维的要点之一。为了持续提升教育服务的质量和专业度，教育大数据产业将 进一步细化分工，产业链条之间的协同和运作将更加高效、专业。每个环节都 将由专门的提供商提供最专业、最优质的服务。基础教育大数据市场有望出现 一批专门从事教育数据采集、数据安全或教育数据挖掘的优秀本土企业。 趋势四：数据安全意识不断增强 教育数据安全与隐私受到广泛关注，成为产品质量评估的核心指标。随着 社会公众数据安全与隐私保护意识的不断增强，教育大数据产品需要进一步提 升数据安全性能。政府及教育机构在采购教育信息化产品时，数据安全将成为 重要的考量点和评估指标。教育信息化相关标准制定单位，也会将数据安全与 隐私保护作为核心内容纳入标准体系。达不到数据安全标准的企业产品，将面 临巨大的被市场淘汰的风险。 趋势五：产学研合力谋求突破 越来越多的企业寻求与高校、科研机构及中小学校的深度合作。教育大数 据产品的成功研发与应用推广，单靠企业的力量难以完成。企业一方面需要准 确把握中小学的实际教育需求，另一方面又要与高校、科研机构协同攻克关键 技术难题，设计有效的产品应用模式与策略。因此，教育大数据市场将呈现企、校、研广泛合作的态势，三方优势互补、有效协同，涌现一批优秀的、接地气 的教育大数据产品。 趋势六：人才培养意识开始凸显 高校纷纷加强教育大数据技术课程体系建设和人才。培养数据人才匮乏是 影响我国教育大数据产业发展的重要因素。高校承担着教育大数据专门人才培 养的重任，未来将有更多的高校开设教育大数据课程或者设立相关专业方向。
大数据外文翻译参考文献综述
大数据外文翻译参考文献综述 (文档含中英文对照即英文原文和中文翻译) 原文： Data Mining and Data Publishing Data mining is the extraction of vast interesting patterns or knowledge from huge amount of data. The initial idea of privacy-preserving data mining PPDM was to extend traditional data mining techniques to work with the data modified to mask sensitive information. The key issues were how to modify the data and how to recover the data mining result from the modified data. Privacy-preserving data mining considers the problem of running data mining algorithms on confidential data that is not supposed to be revealed even to the party
running the algorithm. In contrast, privacy-preserving data publishing (PPDP) may not necessarily be tied to a specific data mining task, and the data mining task may be unknown at the time of data publishing. PPDP studies how to transform raw data into a version that is immunized against privacy attacks but that still supports effective data mining tasks. Privacy-preserving for both data mining (PPDM) and data publishing (PPDP) has become increasingly popular because it allows sharing of privacy sensitive data for analysis purposes. One well studied approach is the k-anonymity model [1] which in turn led to other models such as confidence bounding, l-diversity, t-closeness, (α,k)-anonymity, etc. In particular, all known mechanisms try to minimize information loss and such an attempt provides a loophole for attacks. The aim of this paper is to present a survey for most of the common attacks techniques for anonymization-based PPDM & PPDP and explain their effects on Data Privacy. Although data mining is potentially useful, many data holders are reluctant to provide their data for data mining for the fear of violating individual privacy. In recent years, study has been made to ensure that the sensitive information of individuals cannot be identified easily. Anonymity Models, k-anonymization techniques have been the focus of intense research in the last few years. In order to ensure anonymization of data while at the same time minimizing the information
工业大数据分析综述：模型与算法
摘要：随着条形码、二维码、RFID、工业传感器、自动控制系统、工业互联网、ERP、CAD/CAM/CAE等信息技术在工业领域的广泛应用，大量与工业生产活动相关的数据被实时采集并存储到企业的信息系统中。对这些数据进行分析，有助于改进生产工艺、提高生产效率、降低生产成本，为实现智能制造奠定基础。因此，工业大数据分析引起了工业界和学术界的广泛关注。模型和算法是大数据分析理论和技术中的两个核心问题。介绍了工业大数据分析的基本概念，综述了几种流行的工业大数据分析模型在工业大数据分析领域的应用情况以及相应求解算法方面的研究成果，并探索了大数据分析模型和算法的未来研究方向。 关键词：工业大数据; 大数据分析; 模型; 算法; 智能制造 1 引言 当今时代，信息化和工业化的融合已经成为发展趋势，《中国制造2025》指出：“新一代信息技术与制造业深度融合，正在引发影响深远的产业变革，形成新的生产方式、产业形态、商业模式和经济增长点”。工业大数据在两化融合过程中起着至关重要的作用，国务院颁发的《促进大数据发展行动纲要》把发展工业大数据列为主要任务之一：“推动大数据在工业研发设计、生产制造、经营管理、市场营销、售后服务等产品全生命周期、产业链全流程各环节的应用，分析感知用户需求，提升产品附加价值，打造智能工厂。建立面向不同行业、不同环节的工业大数据资源聚合和分析应用平台”。工业大数据是指在工业领域中产生的大数据。随着信息化与工业化的深度融合，信息技术渗透到了工业企业产业链的各个环节，条形码、二维码、射频识别（radio frequency identification，RFID）、工业传感器、工业自动控制系统、工业互联网、企业资源计划（enterprise resource planning，ERP）、计算机辅助设计（computer
大数据的国内外研究现状与发展动态分析报告
大数据的国内外研究现状及发展动态分析大数据的概念 产生的背景与意义 上世纪60年代到80年代早期，企业在大型机上部署财务、银行等关键应用系统，存储 介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据 量的增长。互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民 都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动 产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种 爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。在大数据时代，我们分析的数据因为“大”，摆脱了传统对随机采样的依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据的精确度，而是坦然面对信息的混杂；信息之“大”之“杂”，让我们分析的“据”也由传统的因果关系变为相关关系。 大数据热潮的掀起让中国期待“弯道超越”的机会，创造中国IT企业从在红海领域苦 苦挣扎转向在蓝海领域奋起直追的战略机遇。传统IT行业对于底层设备、基础技术的要求 非常高，企业在起点落后的情况下始终疲于追赶。每当企业在耗费大量人力、物力、财力取 得技术突破时，IT革命早已将核心设备或元件推进至下一阶段。这种一步落后、处处受制于人的状态在大数据时代有望得到改变。大数据对于硬件基础设施的要求相对较低，不会受困于基础设备核心元件的相对落后。与在传统数据库操作层面的技术差距相比，大数据分析应用的中外技术差距要小得多。而且，美国等传统IT强国的大数据战略也都处于摸着石头 过河的试错阶段。中国市场的规模之大也为这一产业发展提供了大空间、大平台。大数据对 于中国企业不仅仅是信息技术的更新，更是企业发展战略的变革。随着对大数据的获取、处 理、管理等各个角度研究的开展，企业逐渐认识数据已经逐渐演变成“数据资产”。任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累。数据是企业的核心资产，可以是也应该是独立于软硬件系统及应用需求而存在的。 大数据是信息技术演化的最新产物，确立了数据这一信息技术元素的独立地位。正因为数据不再是软硬件及应用的附属产物，才有了今天爆炸式的数据增长，从而奠定了大数据的基础。
大数据云计算文献综述
大数据云计算文献综述 一个大数据的调查 摘要：在这篇论文中，我们将回顾大数据的背景以及当前发展状况。我们首先介绍大数据的一般应用背景以及回顾涉及到的技术，例如：云计算、物联网、数据中心，以及Hadoop。接下来我们着重大数据价值链的四个阶段，也就是：数据生成，数据采集，数据存储和数据分析。对于每个阶段，我们介绍应用背景，讨论技术难题以及回顾最新技术。最后，我们介绍几个大数据的代表性应用，包括企业管理，物联网，在线社交网络，媒体应用，集成智慧，以及智能电网。这些讨论旨在提供一个全面的概述以及对读者感兴趣的领域的蓝图。这个调查包括了对开放问题和未来方向的讨论。 关键字大数据云计算物联网数据中心Hadoop 智能电网大数据分析 1、背景 1.1大数据时代的曙光 在过去的二十年，数据在各种各样的领域内爆炸式增长。按照2011年来自国际数据公司（IDC）的报告，世界上总共的创建及复制的数据量达到1.8zb,在五年内增长了大约九倍[1]。在未来这个数字至少每两年增加一倍。在全球数据的爆炸增长下，大数据这个词主要来描述巨大的数据集。与传统的数据集相比，大数据通常包括非结构化数据，这需要更实时的分析。 另外，大数据也能在发现新价值上带来新优势，帮助我们帮助我们获得一个深入隐藏价值的认识，也导致新挑战，例如，如何有效地组织和管理这样的数据集。
近日，行业产生兴趣的大数据的高潜力，许多政府机构公布主要计划加快大数据的研究和应用[2]。此外，大数据问题往往覆盖在公共媒体，如经济学[3，4]，纽约时报[5]，和全国公共广播电台[6,7]。这两个主要的科学期刊，Nature和Science，还开通了专栏讨论大数据的挑战和影响[8,9]。大数据的时代已经到来超越一切质疑[10]。 目前，与互联网公司的业务相关联的大数据快速增长。例如，谷歌处理的数据达数百拍字节（PB），Facebook的生成日志数据每月有超过10 PB，百度一家中国公司百度，业务流程有数十PB的数据，而阿里巴巴的子公司淘宝每天的网上交易产生几十太字节（TB）的数据。图1示出的全球数据量的热潮。当大型数据集的数量急剧上升，它也带来了许多具有挑战性的问题，解决方案如下： 图一、持续增长的数据 信息技术的最新发展（IT）使其更容易以产生数据。例如，每分钟有平均72个小时的视频上传到YouTube[11]。因此，我们面临的主要挑战是从广泛分布的数据源中收集和整合大量的数据。 云计算和物联网（IOT）的快速发展进一步促进数据的大幅增长。云计算提供了安全措施，访问网站以及数据资产的渠道。在物联网的典范，遍布世界各地的传感器正在收集和传送数据到云端进行存储和处理。这样的数据在数量和相互关系将远远超过对IT架构和现有企业的基础设施的能力，以及它的实时要求也将极大地强调可用的计算能力。日益增长的数据造成怎样在当前硬件和软件的基础上存储和管理如此庞大的异构数据集的问题。