中国大数据行业应用生态分析

2016年中国大数据行业发展历程及规模应用现状

2016年中国大数据行业发展历程及规模应用现状 一、大数据的来源 数据来自于一切客观存在，包括宏观到微观的物理世界，各种生物体、人类社会活动、感知、认识和思维的结果。随着信息技术的发展，当通常所说的数据是指经过数字化转换后的信息，是可以被量化、分析和再利用的信息，包含数值、文字、符号、音频、视频等不同形态。 对数据的分析都并非新鲜事，如交通规划、宏观经济分析、电力系统规划、气象预测、高能物理、航天航空、基因工程等大规模数据分析和计算早已在人类生产和生活中发挥着关键的作用。 早在1970年哈佛大学关于资源三角形的论述中，将材料、能源、信息看成是推动社会发展的三种基本资源，因此传统的商业智能和数据库厂商得以出现并快速发展。 数据规模和类型的剧变：互联网和移动互联网的发展、传感技术的广泛应用，使得数据的规模和种类急剧增长。数据类型也不仅仅包含关系型数据，还出现了大量的日志、文本、图片、音频和传感器等非结构化和半结构化数据。2020年所产生的数据量是2009年的44倍。 数据存储成本下降：单位信息存储成本的下降，使得对海量数据的分布式存储技术难度降低。30年前，1TB存储的成本为16亿美金，如今通过云存储服务所需不到100美金。 大规模数据处理成为可能：随着计算机技术能发展，对非结构化数据的处理和分析方式组建成熟，MapReduce模型以及云计算模式的出现，是大规模数据处理的成本和技术门槛大大降低。 数据采集更为密集和广泛：随着移动互联网和物联网技术的发展，使得数据的采集更加方便。 数据分析应用的发展：Google、百度、淘宝等数据分析的经典案例给业界带来很强的冲击。 二、行业术语 Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS（Hadoop Distributed FileSystem），因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之

电子信息行业：中国大数据应用市场专题分析

中国大数据应用市场专题分析

分析定义与分析方法分析方法千帆说明l 千帆分析全国网民，分析超过99.9%的APP活跃行为。l 千帆行业划分细致，APP收录量高，分析45领域、300+行业、全网TOP 4万多款APP。l 千帆是数字化企业、投资公司、广告公司优选的大数据产品，2015年至今累计服务客户数量400+。 分析定义及分析范畴 l 分析内容中的资料和数据来源于对行业公开信息的分析、对业内资深人士和相关企业高管的深度访谈，以及易观分析师综合以上内容作出的专业性判断和评价。l 分析内容中运用Analysys易观的产业分析模型，并结合市场分析、行业分析、消费者分析和厂商分析，能够反映当前市场现状，趋势 和规律，以及厂商的发展现状。l 大数据：大数据是一个伴随社会信息化而诞生, 以海量数据(主要特征包括数量大、种类多、处理 速度要求快、以前没有或无法获取且现在正不断生 成)积累为基础，囊括无数条“数据产生-数据处理- 信息提取-数据消费-新数据生产”的环状链，以降 低信息不对称、提高决策有效性、推进智慧和知识 演进为目标，可广泛作用于几乎所有实体的跨界生 态系统和发展趋势。l 本分析内容主要分析中国大数据应用发展背景， 大数据应用市场发展概况，大数据生态状况、产业 案例以及发展趋势等内容。

目 录 01 背景：变革绽放中的大数据应用 02 现实：细分深耕中的大数据应用 03 应用：以用户为中心的典型案例 04 未来：大数据应用未来趋势发展

背景：变革绽放中的大数据应用

2019-11-275数据驱动精益成长大数据广泛的应用到各个行业各个领域，带来商业变革、管理变革和思维变革 Analysys易观分析认为，随着人类社会的不断发展，大数据带来的变革不言而喻。从思维变革到管理变革再到商业变革，大数据带来量到质的改变。一方面，可以带来更高的经济价值，另一方面，大数据的发展撼动着我们生活的方方面面，从学术到商业，从政府到百姓，从医疗、家居、教育、金融、安防、建筑、交通、制造、农业、仓储、化工和酒店服务，这种改变渗透到生活的每个领域。医疗家居教育金融安防建筑 交通制造农业仓储化工酒店服务 “这仅仅只是一个开始，大数据时代对我们的生活，以及与世界交流的方式都提出了挑战。最惊人的是，社会需要放弃它对因果关 系的渴求，而仅需要关注相互关系。这就推翻了自古以来的惯例，而我们做决定和理解现实的最基本方式也将受到挑战。” ——《大数据时代》大数据 商业变革管理变革 更好、更杂和更多 思维变革数据化和价值风险和掌控

大数据各产业应用报告

大数据各产业应用 方案

目录 1.大数据概述 (6) 1.1.概述 (6) 1.2.大数据定义 (6) 1.3.大数据技术发展 (8) 2.大数据应用 (11) 2.1.大数据应用阐述 (11) 2.2.大数据应用架构 (13) 2.3.大数据行业应用 (13) 2.3.1.医疗行业 (13) 2.3.2.能源行业 (14) 2.3.3.通信行业 (14) 2.3.4.零售业 (15) 3.大数据解决方案 (16) 3.1.大数据技术组成 (16) 3.1.1.分析技术 (16) 3.1.1.1.可视化分析 (16) 3.1.1.2.数据挖掘算法 (16) 3.1.1.3.预测分析能力 (16) 3.1.1.4.语义引擎 (16) 3.1.1.5.数据质量和数据管理 (17) 3.1.2.存储数据库 (17) 3.1.3.分布式计算技术 (18) 3.2.大数据处理过程 (20) 3.2.1.采集 (20) 3.2.2.导入/预处理 (21) 3.2.3.统计/分析 (21) 3.2.4.挖掘 (21) 3.3.大数据处理的核心技术-Hadoop (21) 3.3.1.Hadoop的组成 (22) 3.3.2.Hadoop的优点： (25) 3.3.2.1.高可靠性。 (25) 3.3.2.2.高扩展性。 (25) 3.3.2.3.高效性。 (25) 3.3.2.4.高容错性。 (25) 3.3.3.Hadoop的不足 (25) 3.3.4.主要商业性“大数据”处理方案 (26) 3.3.2.5.IBM InfoSphere大数据分析平台 (26) 3.3.2.6.Or a c l e Bi g Da t aApplianc (27) 3.3.2.7.Mi c r o s o f t S QLServer (27) 3.3.2.8.Sybase IQ (28)

大数据行业应用现状和未来分析

当前，大数据”的浪潮汹涌而来，为IT产业带来了新的机遇、新的变革和新的发展。欢迎走进大数据时代!为准确把握产业发展契机，分享大数据建设经验及热点应用，本次研讨会吸引了相关主管部门领导、国内著名专家学者、产业界高层齐聚一堂，共同探讨有关大数据的热点话题。研讨会上来自北京时代计世咨讯有限公司首席分析师丁震就大数据行业应用现状和未来应用热点为主题作了精 彩的分享。 大数据市场现状 第一、中国大数据市场分析 从去年开始对11个行业，1000用户做了大数据相关使用调研，通过调研结果发现，大数据在中国整个市场中，市场发展前景是非常广阔的。特别从2013年到2016年中，每一年大数据市场发展增长率都会在百分之百以上，这是综合考虑了各种各样的影响因素，考虑了中国整体经济发展趋紧的局势包括欧债危机对中国经济的影响逐渐显现的趋势，从信息化角度、政府、金融、电信主要传统行业对信息化投资趋紧的趋势，综合这些趋势，我们认为大数据市场未来发展是高速增长的市场，特别在2013年的时候，随着行业解决方案的数量的增多，以及在行业用户对于大数据的需求的明确。 我们认为2013年将会是发展的顶点，越来越多的行业对大数据应用持比较乐观的态度，大数据或者相关数据分析解决方案的使用在互联网行业更多一些比如百度、淘宝等。 现在看到的更多一些，特别在近两年以来，像电信或者金融、能源这些传统行业，开始越来越多的用户在初步尝试或者在考虑怎么样使用类似大数据解决方案，来提升自己的业务水平。比如电信行业，了解到像中国电信在全国上海、四川、广东建了三个大的资源池，支撑了中国电信大的业务系统。同时他们采取了大数据分析方案分析他们的数据。 像能源行业，电力的用户，我们也注意到有一些电力方面的用户，他们也在考虑尝试能不能使用基于大数据解决方案去分析一些比如说像用电企业，用电行为，他们的使用行为，而提升他们自身对客户的服务能力。 总之，在大数据背景之下，看到越来越多行业用户，用来使用和尝试行业的解决方案。 第二、企业大数据应用需求分析 目前企业数据的现状，非结构化数据已经成为主流，结构化数据放在最上面。企业IT架构当中，结构化数据和非结构化数据占据了越来越重要的位置。 在大数据背景之下，企业对于大数据技术特点和用户需求和之前那些用户对数据处理得需求，到底有什么不同。在他们看来，从表面来看，企业对于数据分析需求始终都存在的，跟之前和现在没有太大的区别，大数据它不是理念上的革命或者是技术上的革命，它是一种革新。这种革新标志着企业对于数据应用的需求上升到一个新的发展阶段。在这个阶段中，企业不仅仅要求处理数据越来越快，这不是用户最需求的，企业不仅仅需要用户处理数据的类型会越来越多，以前只数据结构化数据就好了，现在既要数据结构化数据，也要处理非结构化和半结构数据，这样的解决方案，用户也需要，但是也不是最重要的。最重要，企业如何把这些数据上升为战略资源，或者企业如何利用这些的数据提升他们的竞争力，成为市场竞争最有力的武器。 建筑行业管理软件CEO认为，他们目前有两样数据，一是各省市建筑原材料的架构，可以做到每天更新，二是他们手里掌握着从业者大概几十万从业者的信息，他们的问题不单单把这些建筑行业原材料的信息打包卖给用户，他们还在想，我们怎么样去能够运用不同的建筑原材料的数据，这种价格的数据，去为不同需求的，不同地区，不同层级的需求用户，提供有针对性，比如说施工预算的解决方案。另外，他们还需要如何从几十万个行业用户的用户信息里面，怎么来发掘出新的业务模式，创造一些新的商业发展机会，以及怎么样发掘新的潜在用户。 目前来讲，对他们困扰最大的，我现在缺少一种全方位的方法或者是一种数据分析的手段来去支撑我的需求，这个例子说明，目前来讲中国对于数据分析的方法还是非常缺乏，目前来讲，我们觉得

大数据的应用现状与展望

自然辩证法小论文 大数据的应用现状与展 望 指导老师：张立 组长、主讲：刘开耀21428164 PPT制作：刘玉婷21428171 论文撰写：雷颖颖陈瞳 资料收集：毕晨光黄一锋 邵炳姜灵轩 董丽华周晴 黄河羚婕JX14014 2015/4/18

大数据的应用现状与展望 摘要：大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析的方法，从大数据中挖掘有效信息，为用户提供辅助决策，实现大数据价值的过程。本文主要介绍了大数据的分析方法、分析模式以及常用的分析工具，将大数据应用归纳为6个关键领域：结构化数据分析、文本分析、Web分析、多媒体分析、社交网络分析和移动分析，并列举了若干大数据的典型应用。最后从基础理论、关键技术、应用实践以及数据安全等4个方面总结了大数据的研究现状，并对大数据应用未来的研究进行展望。关键词：大数据数据分析数据存储4V 在过去的20年中，各个领域都出现了大规模的数据增长，包括医疗保健和科学传感器用户生成数据、互联网和金融公司、供应链系统等。国际数据公司IDC报告[1]称，2011年全球被创建和复制的数据总量为1.8ZB（1ZB≈1021ZB），在短短5年间增长了近9倍，而且预计这一数字将每两年至少翻一番。大数据这一术语正是产生在全球数据爆炸增长的背景下用来形容庞大的数据集合。与传统的数据集合相比，大数据通常包含大量的非结构化数据，且大数据需要更多的实时分析。此外，大数据还为挖掘隐藏的价值带来了新的机遇，同时给我们带来了新的挑战，即如何有效地组织管理这些数据。 1 大数据的定义 目前，虽然大数据的重要性得到了大家的一致认同，但是关于大数据的定义却众说纷纭。大数据是一个抽象的概念，除去数据量庞大，大数据还有一些其他的特征，这些特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。一般意义上，大数据是指无法在有限时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。科技企业、研究学者、数据分析师和技术顾问们，由于各自的关注点不同，对于大数据有着不同的定义。通过以下定义，或许可以帮助我们更好地理解大数据在社会、经济和技术等方而的深刻内涵。 2010年Apache Hadoop组织将大数据定义为，“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。在此定义的基础上，2011年5月，全球著名咨询机构麦肯锡公司发布了名为“大数据：下一个创新、竞争和生产力的前沿”的报

中国大数据发展调查报告

展调告（2015 年） 中国信息通信研究院 2015年5 月

版权声明 本调查报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本调查报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明

前言 2014 年是中国企业级大数据市场的起步之年，经过近两年的探 索业用户开署大数据平台 与应用，带动软件、硬件和服务市场发展。为进一步掌握中国企业大 数国信息通开展了2014年中国大 据的应用状况和特点，中信研究院 数据应用状况的调查。本次活动采用在线问卷的方式，对中国大数据 市场规模、应用状况、数据资源情况、平台建设情况、企业大数据应 用的政策和资源需求等问题进行调研，调研对象包括电信、互联网、金融、批发零售等行业的固定从业人员16368 人。本报告希望以严 谨客观的数据，为政府、企业等了解中国大数据发展状况和制定相关 决策提供参考。 本《报告》的数据采集工作得到了政府部门、大数据解决方案提 供商和企业用户以及社会各界的大力支持。我们在此表示最衷心的感谢！同时也对接受大数据调查访问的企业朋友表示最诚挚的谢意！ 中国信息通信研究院 2015年5月29日

目录前.............................................III 目录..............................................................................................................................................IV 观 (1) 点摘要.......... 一、调查背景 (3) 1.1 调查方法及样本 (3) 1.2报告术语界定 (4) 二、大数据市场规模 (5) 2.1 大数据市场规模预估 (5) 2.2 大数据市产值 (6) 场细分领域 三、大数据应用 (6) 3.1 对大数据应用的认识 (6) 3.2 大数据应状 (7) 用的部署现 3.3 大数据应果 (8) 用带来的效 3.4大数据应碍 (8) 用的主要障 四、大数据资源 (9) 4.1数据资源的规模 (9) 4 的来源.......... .2数据资源 (10) 4 的类型.............................. .3 数据资源 (11) 五、大数据平台 (12) 5.1 大数据平台建设模式 (12) 5 据平台模式. .2 自建大数 (12) 5.3 采购公共云服务模式 (15) 六、政策需求和资源需求 (16) 6.1大数据发展的政策需求 (16) 6.2 企业对大数据资源的需求状况 (17) ......................................................................................

浅谈大数据技术的行业应用

浅谈大数据技术的行业应用 其实在没上这门课之前我只是认为大数据无非是信息时代的自然产物，随着互联网的通畅自然会存在更为庞大的数据规模，只是没想过数据规模会如此的庞大，正如老师的PPT也指出人们每月在总共在facebook上浏览7000亿分钟，每天会产生超过10TB 的数据，Twitter 每天就会生成超过7TB 的数据！天啊，这简直就是数据的汪洋大海，每个IT企业都在努力的在此间浮沉，努力不被数据大海淹没同时又奋力滑向那零零星星的富庶小岛。我不知道我刚才的比喻是否恰当，不过我想表达的就是数据虽然那么多，有海量的数据和各种不同类型的数据，但这并不是垃圾堆，其中其实掩藏着很多的金矿的。老师上课讲的关于算法来识别用户是否怀孕，进而不同声色的为她们推荐即将成为妈妈的各类产品诸如纸尿裤之类的让我非常感兴趣，让我发现原来营销可以做到这样的地步，利用算法提前预测用户与自己有关的一切消费行为然后加以利用转化为自己的实际发展利益，还有银行卡通过消费行为来判断预警依次来降低风险，这样内容着实让我开了眼。我也相信随着大数据技术处理的进步，大数据对于我们生活潜移默化，还有企业经营理念深刻的影响还会进一步加大的。我以前在网上也曾看过一个关于大数据处理用于音乐App歌曲推荐的算法，主要是通过你听歌曲的历史来记录分析找寻到与你相似品味的客户，然后把他们曾经听过的喜爱的歌曲再推荐给你，这个的确效果非常好，当然这个必须要依托大数据了。大数据其实还是对海量数据进行分发，处理和筛选，然后给下游的客户们来创造的价值。而获取新的客户，还是创造客户新的消费点和欲望方面大数据的确算是颠覆了之前的公司运营模式，不必依靠打折降价烧钱促销大面积撒网，而是通过大数据找到对应的客户进行精准营销等等，的确给公司带来很多便利又节约了很多的资源，人力物力和资金。但有些时候总有些事情不尽然如人意，比如之前携程的数据库不幸泄露，然后许多客户因其真实信息曝光遭到诈骗，而考虑到银行的数据如果操纵不当，那损失可算不可估量了，其实我们一直在一艘在海上摇摆的船上，不仅要享受因海水浮力带来的便利，更要关注大数据安全的问题来保证船的稳定航行，毕竟能载舟，亦能覆舟嘛~而老师在课上也算提到过提供大数据服务的公司是可以随便浏览其客户储存在上面的信息的，这种信息隐患也算是一种无奈吧。还有一个观点其实算我之前在网上看到的，也蛮有趣的。虽然通过大数据挖掘可以找到很多商机，但总有种知其然而不知其所以然之感，虽然我们知道这俩商品放在一种卖肯定会提升销量，但我说不出其中的原因，也无法此类现象之后的逻辑推理下来的发展演变。所以大数据挖掘出的信息在某些时候算是对现实世界的一种反馈，真正的预测决策还是要依靠人们自己的判断和主观能动性的。上述算是我思绪很乱随处敲敲打打写下我对于大数据行业应用的看法吧。

大数据的国内外研究现状与发展动态分析报告

大数据的国内外研究现状及发展动态分析大数据的概念 产生的背景与意义 上世纪60年代到80年代早期，企业在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据量的增长。互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。在大数据时代，我们分析的数据因为“大”，摆脱了传统对随机采样的依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据的精确度，而是坦然面对信息的混杂；信息之“大”之“杂”，让我们分析的“据”也由传统的因果关系变为相关关系。 大数据热潮的掀起让中国期待“弯道超越”的机会，创造中国IT企业从在红海领域苦苦挣扎转向在蓝海领域奋起直追的战略机遇。传统IT行业对于底层设备、基础技术的要求非常高，企业在起点落后的情况下始终疲于追赶。每当企业在耗费大量人力、物力、财力取得技术突破时，IT革命早已将核心设备或元件推进至下一阶段。这种一步落后、处处受制于人的状态在大数据时代有望得到改变。大数据对于硬件基础设施的要求相对较低，不会受困于基础设备核心元件的相对落后。与在传统数据库操作层面的技术差距相比，大数据分析应用的中外技术差距要小得多。而且，美国等传统IT强国的大数据战略也都处于摸着石头过河的试错阶段。中国市场的规模之大也为这一产业发展提供了大空间、大平台。大数据对于中国企业不仅仅是信息技术的更新，更是企业发展战略的变革。随着对大数据的获取、处理、管理等各个角度研究的开展，企业逐渐认识数据已经逐渐演变成“数据资产”。任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累。数据是企业的核心资产，可以是也应该是独立于软硬件系统及应用需求而存在的。大数据是信息技术演化的最新产物，确立了数据这一信息技术元素的独立地位。正因为数据不再是软硬件及应用的附属产物，才有了今天爆炸式的数据增长，从而奠定了大数据的基础。

国内外大数据发展现状和趋势(2018)

行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.sodocs.net/doc/622958935.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市

大数据的应用现状及展望

大数据的应用现状及展望 摘要：互联网时代下，大数据为管理带来的新的发展方向，对人员改革、决策 质量提升、服务效率改善等产生显著的影响。然而大数据在当前技术发展中存在 诸多问题，因此笔者在明晰大数据技术现状基础上，结合问题对其展开分析，旨 在有效提升大数据技术的应用水平。 关键词：大数据；应用现状；展望 Status and Prospect of big data applications Shan Li-lin (Information Center of Fushun Financial Bureau , Fushun 113006,China) Abstract:In the Internet era, big data has become a new development direction brought by management, which has a significant impact on personnel reform, decision-making quality improvement and service efficiency improvement. However, there are many problems in the current technology development of big data. Therefore, based on the clarity of the current situation of big data technology, the author conducts an analysis of big data technology in combination with problems, aiming to effectively improve the application level of big data technology. Keywords: big data; application status; prospect 引言 大数据战略已经成为当前我国的发展战略，对我国经济发展及科技进步将产 生深远的影响。尤其是近些年来，随着信息化高速发展及社会转型的不断提升， 大数据与企事业单位、政府行政机关的管理不断融合，将成为互联网时代下分析 的核心支撑！ 1 大数据内涵 大数据，又称为海量数据，是指在数据的数量体积达到一种特别庞大状态， 此时，一般的数据管理工具难以在规定时间内对其提取有效信息、整合类似资料、分析类比问题并且把它转化成对企业有用的信息。这些难以在规定的有效时间内 进行识别、保存和应用的大量数据的集合，需要一种全新的解决方法才可以将其 转化为企业所需要的决策领导力、发现问题和提前预知问题的能力、具有更加清 晰且有条理处理问题的能力。 大数据分为三种类型，包括结构化数据、半结构化数据和非结构化数据，其 中非结构化数据越来越成为大数据的主要组成部分。大数据需要特殊的技术，以 有效地处理海量且结构复杂的数据。与之相关的核心技术主要包括数据挖掘、云 计算平台、MPP数据库、分布式数据库、可扩展的存储系统、分布式文件系统等。 对大数据进行分析往往需要大量的计算机所提供的计算能力，数量少则数十台，多则数千台。随着云时代的来临，将大数据与云计算相结合，利用云计算技 术可以用低廉的成本获得强大的运算能力，使大数据分析的门槛降低。在大数据、云计算与数据挖掘等技术不断发展的背景下，很多过去无法收集或者收集后无法 分析的数据被充分地利用起来，帮助各行各业进行改革与创新，为人类的进步与 发展发挥着巨大的作用[1]。 大数据是一种规模大到在获取、存储、管理、分析方面均远远超过了传统类 型的数据库软件工具能力范围的数据集合，它具有海量的数据规模、快速的数据 流转、多样的数据类型以及价值密度低四大特征，而且实时性强、数据所蕴藏的

中国大数据产业发展研究

中国大数据产业发展研究 从产业规模、产业形态、区域分布、产业竞争格局、产业政策和交易市场等6个方面来全面分析我国大数据产业发展的现状，并进一步从数据产权、政府数据、数据价值、数据安全和保护、大数据企业、大数据人才和大数据技术7个方面深入分析我国大数据产业发展面临的主要问题。以问题为导向，针对性的提出了加快我国大数据产业健康有序发展的对策建议。 标签：大数据；大数据产业；数据产权；政府数据开放共享 在信息化社会，大数据已成为与自然资源、人力资源一样重要的战略资源，正在改变各国综合国力，重塑未来国际战略格局。近年来，发达国家把大数据产业作为强国之基、兴国之本，纷纷加快布局大数据产业。由美国率先推动引领，欧盟、日本等发达国家紧随其后，纷纷出台国家层面的大数据发展战略规划和促进大数据产业发展的相关政策，先后拉开了大数据战略的大幕，有力地推动了大数据产业化、市场化的进程。从全球看，美国始终保持着大数据产业的领先地位，不仅大数据产业发展步入大规模商用阶段，而且大数据已广泛渗透到经济、政治、教育、安全和社会管理等众多领域。相形之下，我国大数据产业还处于起步发展阶段，但自2014年3月《政府工作报告》中首次出现“大数据”字眼以来，国务院于2015年8月31日颁发了《促进大数据发展行动纲要》，《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》中又明确提出：“实施国家大数据战略，推进数据资源共享”，2017年1月17日，工信部还发布了《大数据产业发展规划（2016—2020年）》。随着党中央、国务院密集推出一系列促进大数据发展的顶层设计与战略部署，我国大数据产业出现良好的发展势头，迎来了快速发展的黄金时期。 但是由于我国大数据产业发展起步较晚，加之大数据的关键核心技术发展比较滞后和与之配套的相关工作准备不足，大数据产业发展中面临许多亟待解决的问题，其主要表现在数据产权确权难；政府数据开放度低；数据收集和共享困难，商业价值不高；数据安全、隐私保护及管理体系不完善；大数据企业规模小，领军企业缺乏；大数据人才供求失衡，合格人才匮乏；大数据技术创新不足，关键技术研发应用比较落后等问题。我们直面大数据产业发展中存在的这些问题，在系统分析我国大数据产业发展现状及其面临主要问题的基础上，针对性地提出了加快我国大数据产业健康有序发展的对策思路，为加快推进我国大数据产业发展建言献策。 一、我国大数据产业发展现状分析 1.大数据产业发展态势良好 我国大数据产业展现出良好的发展态势，从2014年以来，我国大数据产业规模不断扩大，2014年大数据产业规模为1038亿元，预计到2020年我

大数据处理技术发展现状及其应用展望

. ,.. 大数据处理技术发展现状及其应用展望 一、定义 著名的管理咨询公司麦肯锡曾预测到：“数据，已经渗透到当今每一个行业和业务职能领域， 成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者 盈余浪潮的到来。”这是大数据的最早定义。业界（于2012年，高德纳修改了对大数据的定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，海量数据量。大数据计量单位至少是PB级别；第二，数据 类型繁多。比如，网络日志、视频、图片、地理位置信息等等都是囊括进来。第三，商业价 值高。第四，处理速度快。 在大数据时代，三分技术，七分数据，得数据者得天下。在大数据时代已经到来的时候要用 大数据思维去发掘大数据的潜在价值。Google利用人们的搜索记录挖掘数据二次利用价值， 比如预测某地流感爆发的趋势；Amazon利用用户的购买和浏览历史数据进行有针对性的书 籍购买推荐，以此有效提升销售量；Farecast利用过去十年所有的航线机票价格打折数据， 来预测用户购买机票的时机是否合适。 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具 有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的技术 技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 2.1、云技术 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、 数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种像水和电一样的 公用事业提供给用户。如今，在Google、Amazon、Facebook等一批互联网企业引领下，一 种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。 业内是这么形容两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。 那么大数据到底需要哪些云计算技术呢？这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术（类似模式识

第9章 大数据的行业应用

1）请阐述什么是旅游大数据。 旅游大数据是综合性的云计算、物联网等高科技信息技术的应用，旅游经营者可以利用网络为广大受众者及时发布相关企业动态和旅游信息；受众者用手机、电脑和其他主动感知类信息的网络终端设备，可以合理安排一个有计划的旅游行程，为提前出行做好如预订机票、酒店、餐厅等准备。这样一种智能化的发展模式，为乘客提供方便，同时在推动旅游企业管理中发挥了巨大作用。 2）请阐述什么是教育大数据。 教育大数据是指整个教育活动过程中所产生的以及根据教育需要所采集到的用于教育发展和研究的价值巨大的数据集合。教育大数据不仅仅是大数据在教育领域应用，它还通过教育领域反向驱动大数据技术分化为独立的分支，从而带来了对传统教育技术领域长期研究问题解决的新途径，甚至可以跨越传统个性化学习的精确逻辑推理过程而直接分析全样本学习者特征。这样来促进教育管理科学化变革、促进教学模式改革、促进个性化教育变革、促进教育评价体系改革、促进科学研究变革等。 3）请阐述什么是金融大数据。 大数据金融是指集合海量非结构化数据，通过对其进行实时分析，可以为互联网金融机构提供客户全方位信息，通过分析和挖掘客户的交易和消费信息掌握客户的消费习惯，并准确预测客户行为，使金融机构和金融服务平台在营销和风控方面有的放矢。 4）请阐述如何设计用户画像。 客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是，银行拥有的客户信息并不全面，基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论。比如，如果某位信用卡客户月均刷卡8次，平均每次刷卡金额800元，平均每年打4次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博，得到的真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。一般来讲，客户画像主要包括以下几方面： 1）客户在社交媒体上的行为数据（如光大银行建立了社交网络信息数据库），通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理。 2）客户在电商网站的交易数据，如建设银行则将自己的电子商务平台和信贷业务结合起来，阿里金融为阿里巴巴用户提供无抵押贷款，用户只需要凭借过去的信用即可。 3）企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据，可以更好掌握企业的外部环境发展情况，从而可以预测企业未来的状况。

2017中国大数据发展报告

2017中国大数据发展报告 近期，国家信息中心、南海大数据应用研究院联合发布了《2017中国大数据发展报告》。该报告基于国家发改委互联网大数据分析中心、国家信息中心“一带一路”大数据中心所掌握的30多个种类，总计40多亿条数据，对我国大数据产业发展的人才、政策、投融资、产业发展等多个维度进行全面分析，是业界首部完全基于大数据方法对大数据发展现状进行研究的报告。 产业与投资成地方省市大数据发展短板 该报告首次引入大数据发展指数，从政策环境、人才状况、投资热度、创新创业、产业发展和网民信心六个维度对国内31个省(自治区、直辖市)大数据发展水平进行量化评估。评估结果显示，2016年中国大数据发展指数平均仅为47.15，总体仍处于起步阶段。 北京、广东、上海大数据发展位居前三，其次是东部沿海省份江苏、浙江和山东，贵州、重庆和四川因为政策引领而异军突起，进入了前十。 从衡量指标来看，投资热度低和产业发展不足则是当前地方大数据发展的突出短板。 大数据管理机制初步形成 如果说2015年是大数据政策顶层设计年，那么2016年

是大数据政策细化落地年，国家发改委、环保部、工信部、国家林业局、农业部等均推出大数据发展意见和方案。大数据政策从全面、总体规划逐渐向各大行业，各细分领域延伸。 本报告分析了最受民众关注的十大政策。其中，《大数据产业发展规划(2016-2020)》影响力最为广泛，关注度高达92.11。 2016年，贵州、浙江、广东等一些地方省市也纷纷出台大数据政策举措，促进当地大数据产业发展，例如，贵州省通过我国首部大数据地方法规《贵州省大数据发展应用促进条例》。 但有意思的是，数据显示，网民认为北京、上海等地大数据发展政策差强人意。以《北京市大数据和云计算发展行动计划(2016-2020)》为例，网民指出该文件中明确了各项任务的责任单位，几乎囊括所有北京市直机关和各区政府，虽然责任明确，但却可能进一步加剧“条块分割”和“碎片化治理”问题，使得“数据孤岛”问题进一步凸显，违背大数据治理初衷。 报告指出，得益于政策红利及众多外部利好因素的推动，我国已经积累了一定的大数据管理经验，探索出具有地方特色的大数据运营管理机制。 过半大数据创业公司处于发展早期 报告披露，2015年前三季度，大数据领域双创(创业创

【调查报告】2019年中国大数据时代发展调查报告

2019年中国大数据时代发展调查报告 大数据产业有望成为拉动经济发展的“新风口”。工信部信息化和软件服务业司司长陈伟近日在媒体通气会上表示，目前包括北京、上海、贵州等先行先试的地方大数据产业和应用发展已初见成效。 工信部将出台促进大数据产业发展的推进计划，促进规划、标准、技术、产业、安全、应用协同发展。其中，在标准化方面，正在研制的10项国家标准中，8项已完成草案。下一步将重点开展数据格式接口、开放共享等标准体系建设。 “近日国务院印发《促进大数据发展行动纲要》，为我国大数据发展进行了顶层设计和统筹部署。工信部主要负责大数据产业发展以及应用示范相关工作。目前我们已支持和指导北京、上海、贵州、广州、陕西等地大数据产业和应用发展。”陈伟表示。他透露这些地方先行先试，主动探索，已初见成效。 数据显示，XX年我国软件和信息技术服务业实现软件业务收入3.7万亿元，同比增长超过20%。其中，贵州省电子信息产业规模总量1437亿元，比上年增长60.6%。 而中国信息通信研究院不久前发布的《XX年中国大数据发展 》预测，XX年中国大数据市场规模将达到115.9亿元，增速达38%。未来随着应用效果的逐步显现，一些成功案例将产生示范效应，预计XX年至2018年中国大数据市场规模还将维持40%左右的高速增长。 不过，由于大数据产业和应用发展迅猛，亟需通过标准化的途径整合资源，固化现有成果，促进各方达成共识，形成统一的数据格式、接口、安全、开放等各类规范，为我国数据开放共享提供基础，为数据安全应用提供保障，促进数据交易等新兴服务模式规范发展。

围绕大数据标准化，下一步将重点开展以下工作： 1.推动标准体系建设，推进数据格式接口、开放共享、数据质量、数据安全、大数据平台等重点标准研制 2.加强标准验证和应用试点示范，建立标准符合性评估体系，推动标准对产业和应用的支撑作用 3.继续积极参与国际标准化制定工作 事实上，在工信部和国标委的领导下，早在XX年12月2日全国信息技术标准化技术委员会大数据标准工作组(以下简称“工作组”)正式成立，统筹开展我国大数据标准化工作，大数据工作组组长由上海交通大学副校长梅宏院士担任。 “目前，工作组包括了北京大学、阿里、华为、京东、国家信息中心等近150家申请单位，共同形成了‘大数据标准体系’，正在研制的国家标准有10项，其中《信息技术大数据术语》和《信息技术大数据技术参考模型》等8项国家标准已经完成草案，《信息技术数据质量评价指标》、《信息技术通用数据导入接口规范》等两项国家标准完成草案大纲。”陈伟透露。

大数据在电信行业的应用

大数据在电信行业的应用 电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示，全球120家运营商中约有48%的运营商正在实施大数据业务。该调研公司表示，大数据业务成本平均占到运营商总IT预算的10%，并且在未来五年内将升至23%左右，成为运营商的一项战略性优势。可见，由流量经营进入大数据运营已成为大势所趋。 电信运营商拥有多年的数据积累，拥有诸如财务收入、业务发展量等结构化数据，也会涉及到图片、文本、音频、视频等非结构化数据。从数据来源看，电信运营商的数据来自于涉及移动语音、固定电话、固网接入和无线上网等所有业务，也会涉及公众客户、政企客户和家庭客户，同时也会收集到实体渠道、电子渠道、直销渠道等所有类型渠道的接触信息。整体来看，电信运营商大数据发展仍处在探索阶段。 大数据在电信行业应用的总体情况 目前国内运营商运用大数据主要有五方面：（1）网络管理和优化，包括基础设施建设优化和网络运营管理和优化；（2）市场与精准营销，包括客户画像、关系链研究、精准营销、实时营销和个性化推荐；（3）客户关系管理，包括客服中心优化和客户生命周期管理；（4）企业运营管理，包括业务运营监控和经营分析；（5）数据商业化指数据对外商业化，单独盈利。 第一方面：网络管理和优化。此方向包括对基础设施建设的优化和网络运营管理及优化。 （1）基础设施建设的优化。如利用大数据实现基站和热点的选址以及资源的分配。运营商可以通过分析话单和信令中用户的流量在时间周期和位置特征方面的分布，对2G、3G的高流量区域设计4G 基站和WLAN热点；同时，运营商还可以对建立评估模型对已有基站的效率和成本进行评估，发现基站建设的资源浪费问题，如某些地区为了完成基站建设指标将基站建设在人际罕至的地方等。 （2）网络运营管理及优化。在网络运营层面，运营商可以通过大数据分析网络的流量、流向变化趋势，及时调整资源配置，同时还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率。 利用大数据技术实时采集处理网络信令数据，监控网络状况，识别价值小区和业务热点小区，更精准的指导网络优化，实现网络、应用和用户的智能指配。由于用户群的不同，不同小区对运营商的贡献也不同。运营商可以将小区的数据进行多维度数据综合分析，通过对小区VIP用户分布，收入分布，及相关的分布模型得到不同小区的价值，再和网络质量分析结合起来，两者叠加一起，就有可能发现某个小区价值高，但是网络覆盖需要进一步提升，进而先设定网络优化的优先级，提高投资效率。 ?德国电信建立预测城市里面的各区域无线资源占用模型，根据预测结果，灵活的提前配置无线资源，如在白天给CBD地区多分配无线资源，在晚上，则给酒吧地区多分配无线资源，使得无线网络的运行效率和利用率更高。 ?法国电信通过分析发现某段网络上的掉话率持续过高，借助大数据手段诊断出通话中断产生的原因是网络负荷过重造成，并根据分析结果优化网络布局，为客户提供了更好的体验，获得了更多的客户以及业务增长； 第二方面，市场与精准营销。 此方向包括客户画像、关系链研究、精准营销、实时营销和个性化推荐。