大数据的思维误区与价值纬度
大数据的思维误区与价值纬度by 吴甘沙
2014-04-26
本文为“泰山会”微信群线下沙龙速记稿，全文如下：
分享嘉宾：吴甘沙，英特尔中国研究院首席工程师
大家周末好，我是吴甘沙，在英特尔中国研究院工作。
清华基于微博分析获得的大数据幸福指数发现人们周六最幸福，相信大家心情不错，因此今天不谈枯燥的技术。关于大数据的思维、理念、方法论已经被反复消费了，本来我想直接进入交互环节，继挺兄还是要求先有一部分规定动作，我就先自弹自唱几十分钟，既然是漫谈，也不见得扣题，说到哪里是哪里。各位有问题，我可以择时择机插入讨论。
先说大数据思想的形成吧。自从人类开始文字和数字，数据就开始产生。就数据增长曲线而言，极小的初值确实要经历漫长的过程达到人类能感知的曲线拐点。谷歌前CEO埃里克·施密特曾给出了一个有趣的数据：从人类文明曙光初现到2003年一共产生的数据，只相当于2010年两天产生的数据量。而一旦越过拐点，“大数据摩尔定律”的滚滚铁轮下，指数效应爆发：最近两年产生的数据量相当于之前产生的全部数据量。
在漫长的数据蓄水过程中，数学和统计学逐渐发展，人们开始注意对数据的量化分析，在人类进入信息时代以前这样的例子就不胜枚举。比如经济上，黄仁宇先生对宋朝经济的分析中发现了“数目字管理”（即定量分析）的广泛应用（可惜王安石变法有始无终）。又如军事，“向林彪学习数据挖掘”的桥段不论真假，其背后量化分析的思想无疑有其现实基础，而这一基础甚至可以回推到2000多年前，孙膑正是通过编造“十万灶减到五万灶再减到三万灶”的数据、利用庞涓的量化分析习惯对其进行诱杀。
到上世纪50-60年代，磁带取代穿孔卡片机，启动了数据存储的革命。磁盘驱动器随即发明，它带来的最大想象空间并不是容量，而是随机读写的能力，这一下子解放了数据工作者的思维模式，开始数据的非线性表达和管理。数据库应运而生，从层次型数据库（IBM为阿波罗登月设计的层次型数据库迄今仍在建行使用），到网状数据库，再到现在通用的关系数据库。与数据管理同时发源的是决策支持系统（DSS），80年代演变到商业智能（BI）和数据仓库，开辟了数据分析——也就是为数据赋予意义——的道路。
那个时代运用数据管理和分析最厉害的是商业。第一个数据仓库是为宝洁做的，第一个太字节的数据仓库是在沃尔玛。沃尔玛的典型应用是两个：一是基于retail link的供应链优化，把数据与供应商共享，指导它们的产品设计、生产、定价、配送、营销等整个流程，同时供应商可以优化库存、及时补货；二是购物篮分析，也就是常说的啤酒加尿布。关于啤酒加尿布，几乎所有的营销书都言之凿凿，我告诉大家，是Teradata的一个经理编的，人类历史上从没有发生过，但是，先教育市场，再收获市场，它是有功的。
仅次于沃尔玛的乐购（Tesco），强在客户关系管理（CRM），细分客户群，分析其行为和意图，做精准营销。
这些都发生在90年代。00年代时，科研产生了大量的数据，如天文观测、粒子碰撞，数据库大拿吉姆·格雷等提出了第四范式，是数据方法论的一次提升。前三个范式是实验（伽利略从斜塔往下扔），理论（牛顿被苹果砸出灵感，形成经典物理学定律），模拟（粒子加速太贵，核试验太脏，于是乎用计算代替）。第四范式是数据探索。这其实也不是新鲜的，开普勒根据前人对行星位置的观测数据拟合出椭圆轨道，就是数据方法。但是到90年代的时候，科研数据实在太多了，数据探索成为显学。在现今的学科里，有一对孪生兄弟，计算XX学和XX信息学，前者是模拟/计算范式，后者是数据范式，如计算生物学和生物信息学。有时候计算XX学包含了数据范式，如计算社会学、计算广告学。
2008年克里斯·安德森（长尾理论的作者）在《连线》杂志写了一篇《理论的终结》，引起轩然大波。他主要的观点是有了数据，就不要模型了，或者很难获得具有可解释性的模型，那么模型所代表的理论也没有意义了。跟大家说一下数据、模型和理论。大家先看个粗糙的图。
首先，我们在观察客观世界中采集了三个点的数据，根据这些数据，可以对客观世界有个理论假设，用一个简化的模型来表示，比如说三角形。可以有更多的模型，如四边形，五边形。随着观察的深入，又采集了两个点，这时发现三角形、四边形的模型都是错的，于是确定模型为五边形，这个模型反映的世界就在那个五边形里，殊不知真正的时间是圆形。
大数据时代的问题是数据是如此的多、杂，已经无法用简单、可解释的模型来表达，这样，数据本身成了模型，严格地说，数据及应用数学（尤其是统计学）取代了理论。安德森用谷歌翻译的例子，统一的统计学模型取代了各种语言的理论/模型（如语法），能从英文翻译到法文，就能从瑞典文翻译到中文，只要有语料数据。谷歌甚至能翻译克莱贡语（Star Trek里编出来的语言）。安德森提出了要相关性不要因果性的问题，以后舍恩伯格（下面称之为老舍）只是拾人牙慧了。
当然，科学界不认同《理论的终结》，认为科学家的直觉、因果性、可解释性仍是人类获得突破的重要因素。有了数据，机器可以发现当前知识疆域里面隐藏的未知部分。而没有模型，知识疆域的上限就是机器线性增长的计算力，它不能扩展到新的空间。在人类历史上，每一次知识疆域的跨越式拓展都是由天才和他们的理论率先吹起的号角。
2010年左右，大数据的浪潮卷起，这些争论迅速被淹没了。看谷歌趋势，"big data"这个词就是那个时间一下子蹿升了起来。吹鼓手有几家，一家是IDC，每年给EMC做digital universe的报告，上升到泽字节范畴（给大家个概念，现在硬盘是太字节，1000太=1拍，阿里、Facebook 的数据是几百拍字节，1000拍=1艾，百度是个位数艾字节，谷歌是两位数艾字节，1000艾=1泽）；一家是麦肯锡，发布《大数据：创新、竞争和生产力的下一个前沿》；一家是《经济学人》，其中的重要写手是跟老舍同著《大数据时代》的肯尼思?库克耶；还有一家是Gartner，杜撰了
3V（大、杂、快），其实这3V在2001年就已经被编出来了，只不过在大数据语境里有了全新的诠释。
咱们国内，欢总、国栋总也是在2011年左右开始呼吁对大数据的重视。
2012年子沛的书《大数据》教育政府官员有功。老舍和库克耶的《大数据时代》提出了三大思维，现在已经被奉为圭臬，但千万别当作放之四海而皆准的真理了。
比如要数据全集不要采样。现实地讲，1. 没有全集数据，数据都在孤岛里；2.全集太贵，鉴于大数据信息密度低，是贫矿，投入产出比不见得好；3.宏观分析中采样还是有用的，盖洛普用5000个样本胜过几百万调查的做法还是有实践意义；4.采样要有随机性、代表性，采访火车上
的民工得出都买到票的结论不是好采样，现在只做固定电话采样调查也不行了（移动电话是大头），在国外基于Twitter采样也发现不完全具有代表性（老年人没被包括）；5.采样的缺点是有百分之几的偏差，更会丢失黑天鹅的信号，因此在全集数据存在且可分析的前提下，全量是首选。全量>好的采样>不均匀的大量。
再说混杂性由于精确性。拥抱混杂性（这样一种客观现象）的态度是不错的，但不等于喜欢混杂性。数据清洗比以前更重要，数据失去辨识度、失去有效性，就该扔了。老舍引用谷歌Peter Novig 的结论，少数高质量数据+复杂算法被大量低质量数据+简单算法打败，来证明这一思维。Peter 的研究是Web文本分析，确实成立。但谷歌的深度学习已经证明这个不完全对，对于信息维度丰富的语音、图片数据，需要大量数据+复杂模型。
最后是要相关性不要因果性。对于大批量的小决策，相关性是有用的，如亚马逊的个性化推荐；而对于小批量的大决策，因果性依然重要。就如中药，只到达了相关性这一步，但它没有可解释性，无法得出是有些树皮和虫壳的因导致治愈的果。西药在发现相关性后，要做随机对照试验，把所有可能导致“治愈的果”的干扰因素排除，获得因果性和可解释性。在商业决策上也是一样，相关性只是开始，它取代了拍脑袋、直觉获得的假设，而后面验证因果性的过程仍然重要。
把大数据的一些分析结果落实在相关性上也是伦理的需要，动机不代表行为。预测性分析也一样，不然警察会预测人犯罪，保险公司会预测人生病，社会很麻烦。大数据算法极大影响了我们的生活，有时候会觉得挺悲哀的，是算法觉得了你贷不贷得到款，谷歌每调整一次算法，很多在线商业就会受到影响，因为被排到后面去了。
下面时间不多了，关于价值维度，我贴一些以前讲过的东西。大数据思想中很重要的一点是决策智能化之外，还有数据本身的价值化。这一点不赘述了，引用马云的话吧，“信息的出发点是我认为我比别人聪明，数据的出发点是认为别人比我聪明;信息是你拿到数据编辑以后给别人，而数据是你搜集数据以后交给比你更聪明的人去处理。”大数据能做什么？价值这个V怎么映射到其他3V和时空象限中？我画了个图：
再贴上解释。“见微”与“知著”在Volume的空间维度。小数据见微，作个人刻画，我曾用《一代宗师》中“见自己”形容之；大数据知著，反映自然和群体的特征和趋势，我以“见天地、见众生”
比喻之。“著”推动“微”（如把人群细分为buckets），又拉动“微”（如推荐相似人群的偏好给个人）。“微”与“著”又反映了时间维度，数据刚产生时个人价值最大，随着时间decay最后退化为以集合价值为主。
“当下”和“皆明”在Velocity的时间维度。当下在时间原点，是闪念之间的实时智慧，结合过往（负轴）、预测未来（正轴），可以皆明，即获得perpetual智慧。《西游记》里形容真假孙悟空，一个是“知天时、通变化”，一个是“知前后、万物皆明”，正好对应。为达到皆明，需要全量分析、预测分析和处方式分析（prescriptive analytics，为让设定的未来发生，需要采取什么样的行动）。
“辨讹”和“晓意”在Variety的空间维度。基于大体量、多源异质的数据，辨讹过滤噪声、查漏补缺、去伪存真。晓意达到更高境界，从非结构数据中提取语义、使机器能够窥探人的思想境界、达到过去结构化数据分析不能达到之高度。
先看知著，对宏观现象规律的研究早已有之，大数据的知著有两个新特点，一是从采样到全量，比如央视去年“你幸福吗”的调查，是街头的采样，前不久《中国经济生活大调查》关于幸福城市排名的结论，是基于10万份问卷（17个问题）的采样，而清华行为与大数据实验室做的幸福指数（继挺兄、我、还有多位本群群友参与），是基于新浪微博数据的全集（托老王的福），这些数据是人们的自然表达（而不是面对问卷时的被动应对），同时又有上下文语境，因此更真实、也更有解释性。北上广不幸福，是因为空气还是房价或教育，在微博上更容易传播的积极情绪还是消极情绪，数据告诉你答案。《中国经济生活大调查》说“再小的声音我们都听得见”，是过头话，采样和传统的统计分析方法对数据分布采用一些简化的模型，这些模型把异常和长尾忽略了，全量的分析可以看到黑天鹅的身影，听到长尾的声音。
另一个特点是从定性到定量。计算社会学就是把定量分析应用到社会学，已经有一批数学家、物理学家成了经济学家、宽客，现在他们也可以选择成为社会学家。国泰君安3I指数也是一个例子，它通过几十万用户的数据，主要是反映投资活跃程度和投资收益水平的指标，建立一个量化模型来推知整体投资景气度。
再看见微，我认为大数据的真正差异化优势在微观。自然科学是先宏观、具体，进入到微观和抽象，这时大数据就很重要了。我们更关注社会科学，那是先微观、具体，再宏观、抽象，许小年索性认为宏观经济学是伪科学。如果市场是个体行为的总和，我们原来看到是一张抽象派的画，看不懂，通过客户细分慢慢可以形成一张大致看得懂的现实图景，不过是马赛克的，再通过微分、
甚至定位个人，形成高清图。我们每一个人现在都生活在零售商的bucket中（前面说的乐购创造了这个概念），最简单的是高收入、低收入这类反映背景的，再有就是反映行为和生活方式的，如“精打细算”、“右键点击一族”（使用右键的比较tech savvy）。反过来我们消费者也希望能够获得个性化的尊崇，Nobody wants to be nobody today。
了解并掌握客户比以往任何时候都更重要。奥巴马赢在大数据上，就是因为他知道西岸40-49
岁女性的男神是乔治·克鲁尼，东岸同样年龄段女性的偶像则是莎拉·杰西卡·帕克（《欲望都市》的主角），他还要更细分，摇摆州每一个郡每一个年龄段每一个时间段在看什么电视，摇摆州（俄亥俄）1%选民随时间变化的投票倾向，摇摆选民在Reddit上还是Facebook上，都在其掌握之中。
对于企业来说，要从以产品为中心，转到以客户（买单者）甚至用户（使用者）为中心，从关注用户背景到关注其行为、意图和意向，从关注交易形成转到关注每一个交互点/触点，用户是从什么路径发现我的产品的，决定之前又做了什么，买了以后又有什么反馈，是通过网页、还是QQ、微博或是微信。
再讲第三个，当下。时间是金钱，股票交易就是快鱼吃慢鱼，用免费股票交易软件有几秒的延迟，而占美国交易量60-70%的高频程序化交易则要发现毫秒级、低至1美分的交易机会。时间又是生命，美国国家大气与海洋管理局的超级计算机在日本311地震后9分钟发出海啸预警，已经太晚。时间还是机会。现在所谓的购物篮分析用的其实并不是真正的购物篮，而是结帐完的小票，真正有价值的是当顾客还拎着购物篮，在浏览、试用、选择商品的时候，在每一个触点影响他/她的选择。数据价值具有半衰期，最新鲜的时候个性化价值最大，渐渐退化到只有集合价值。当下的智慧是从刻舟求剑到见时知几，原来10年一次的人口普查就是刻舟求剑，而现在东莞一出事百度迁徙图就反映出来了。当然，当下并不一定是完全准确的，其实如果没有更多、更久的数据，匆忙对百度迁徙图解读是可能陷入误区的。
第四个，皆明。时间有限，就简单说了。就是从放马后炮到料事如神（predictive analytics），从料事如神到运筹帷幄（prescriptive analytics），只知道有东风是预测分析，确定要借箭的目标、并给出处方利用草船来借，就是处方性分析。我们现在要提高响应度、降低流失率、吸引新客户，需要处方性分析。
辨讹就是利用多源数据过滤噪声、查漏补缺和去伪存真。20多个省市的GDP之和超过全国的GDP就是一个例子，我们的GPS有几十米的误差，但与地图数据结合就能做到精确，GPS在城市的高楼中没有信号，可以与惯性导航结合。
晓意涉及到大数据下的机器智能，是个大问题，也不展开了。贴一段我的文章：有人说在涉及“晓意”的领域人是无法替代的。这在前大数据时代是事实。《点球成金（Moneyball）》讲的是数量化分析和预测对棒球运动的贡献，它在大数据背景下出现了传播的误区：一、它其实不是大数据，而是早已存在的数据思维和方法；二、它刻意或无意忽略了球探的作用。从读者看来，奥克兰竞技队的总经理比利·比恩用数量化分析取代了球探。而事实是，在运用数量化工具的同时，比恩也增加了球探的费用，军功章里有机器的一半，也有人的一半，因为球探对运动员定性指标（如竞争性、抗压力、意志力等）的衡量是少数结构化量化指标无法刻画的。大数据改变了这一切。人的数字足迹的无意识记录，以及机器学习（尤其是深度学习）晓意能力的增强，可能逐渐改变机器的劣势。今年我们看到基于大数据的情感分析、价值观分析和个人刻画，当这些应用于人力资源，已经或多或少体现了球探承担的作用。
现在的深度学习在图像搜索、语音识别和自然语言理解上在向人类的智能靠近。今天数据价值化，数据开放和共享，估值和定价，来不及讲了，以后有机会再交流。
精彩问答环节：
@Caesar China：泽字节后是东字节，我们的DCI平台已经是两位数东字节了，不知道吧
答：很感兴趣你们的DCI平台。泽字节后面是尧字节（yottabyte），美国国安局的犹他数据中心据说是按照尧字节的级别设计的
@zhant：全量采样的成本和代价是需要重点评估的。
答：是的，我上传一张示意图。
吴彬能：因特尔在大数据方面的主要工作是哪块？大家印象因特尔还是以硬件为主
甘沙：我们公司一方面是提供大数据的硬件，即计算、存储和互联，服务器和机架设计，另一方面也提供Hadoop发行版和上面的分析、管理工具
贾鹏：金融方面的应用好像比较少
甘沙：现在不是说要通过大数据重建信用体系吗，这是金融啊
雷涛：我来演绎一下Victor的全量数据的思维，不是强调全部数据量，而是从全局视角重新看个体的思维。例如自然语言处理里常用的LDA，SVD分解，都是把每一个个体语义投影到一个公共参照体系中找到绝对坐标。视觉计算里人脸识别的PCA，也是在全局数据（公共脸）中定位每一张清晰脸。全量的思维可以更清晰的描述个体。对全量数据不再追求统计意义的总揽概要和趋势，而是更清晰地揭示个体。
甘沙：这是很好的解读。老舍那一章的标题是More，但中译本加入了“样本=全体”的副标题，因此成为国内的主要理解方式。另外，最近机器学习界开始认为LDA和SVD这类的方法已经不太适合大数据对个体刻画的需求，因为他们的指数分布假设忽略了长尾。
张云松：抛开传统信用风控模型，基于自然人的应用性格数据如何采集和量化分析应用于信用风险的估计？
甘沙：现在方法很多，所谓一切数据皆为信用数据。一是通过数据共享，利用个人在淘宝、京东、支付宝、电信方面的数据，另一个是自己采集信号。ZestFinance有7万多个信号，国内类似拍拍贷也有很多信号。比如星座，某些星座的容易逾期；用的浏览器，IE6是网吧标配；上网时间，半夜两三点说明没有正当职业；填写个人信息的时候耗时太多，说明可能有假；以前上班时间是用一个IP地址登录的，突然换了个地址，是不是失业了等等，很多信号叠加起来形成个人信用的图景。
苏继挺：前段时间有个国家食品安全局兄弟找到我，问我能不能通过大数据找到监管手段。比如某省有段时间，某种农药网络上交流信息如何使用特别多，那可以对该地区的农产品进行及时监控抽查。甘沙兄如何看？
甘沙：大数据在农业、金融上的跨界应用最好的例子是The Climate Corporation，被孟山都买了
企业大数据思维
企业大数据思维 张靖笙 “一切皆可数据化”，舍恩伯格大数据思维里面这句话道出了这个时代滚滚洪流的主旋律，不管你听与不听，看与不看，数据都在哪里，像空气一样弥漫，也会像空气一样要命。在各种应用大数据的声音不绝于耳的今天，前者已是普遍的共识的，而对于后者，很多人却还不见得认同了，您可能觉得言过其实了，凭什么你说大数据会要命？我们没有用大数据就活不了了吗？而对于当今人类社会的所有组织机构来说，数据的重要性已经越来越明显，已经直接影响到存亡命运，缺少数据资源，无以谈事业；缺少数据思维，无以言未来，所以数据是很要命的。 而当前最要命的是，很多甚至是大多数的中国企业家还远远没有认识到这个严重性，这里折射的就是很多人在思维层面对于大数据这种新兴事物认识的不充分，正如马云所指出的：“很多人输就输在，对于新兴事物，第一看不见，第二看不起，第三看不懂，第四来不及。”赵国栋、易欢欢、糜万军、鄂维南合著的《大数据时代的历史机遇》中指出，有四种典型的片面认识阻碍企业家完整地认知大数据：第一，认定是炒作；第二，片面理解；第三，狭隘视野；第四，唯技术论。这些都是缺少全面和准确的大数据认识的表现，尽管还有其他各种客观原因，但是企业家对大数据没有正确的思想认识是阻碍大数据在企业获得深入应用的主要原因。 正确的思维来自正确的认知，在心理学上有一个思维圈法则，被许多高端人士推崇，这就是黄金思维圈，黄金思维圈是一种认知世界的方式，它能够帮助我们快速认识这个世界的本质。黄金思维圈包含三个层面，第一个层面是what层面，也就是事物的表象，特征。第二层则是how，方法，就是如何去解决这个问题，第三层则是本质层，就是why，就是事情背后的原因与真实的目的，可以说这个黄金思维圈是我们认识大数据最好的思维武器。
大数据转变的十大思维
大数据思维的十大原理 一、数据核心原理 从“流程”核心转变为“数据”核心 大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。 例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下，云计算找到了破茧重生的机会，在存储和计算上都体现了数据为核心的理念。大数据和云计算的关系：云计算为大数据提供了有力的工具和途径，大数据为云计算提供了很有价值的用武之地。而大数据比云计算更为落地，可有效利用已大量建设的云计算资源，最后加以利用。 科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。 说明：用数据核心思维方式思考问题，解决问题。以数据为核心，反映了当下IT产业的变革，数据成为人工智能的基础，也成为智能化的基础，数据比流程更重要，数据库、记录数据库，都可开发出深层次信息。云计算机可以从数据库、记录数据库中搜索出你是谁，你需要什么，从而推荐给你需要的信息。 二、数据价值原理 由功能是价值转变为数据是价值 大数据真正有意思的是数据变得在线了，这个恰恰是互联网的特点。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。 例如：大数据的真正价值在于创造，在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能量的煤矿，煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。 数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。举例来说，这里有一张照片，照片里的人在骑马，这张照片每一分钟，每一秒都要拍一张，但随着处理速度越来越快，从1分钟一张到1秒钟1张，突然到1秒钟10张后，就产生了电影。当数量的增长实现质变时，就从照片变成了一部电影。 美国有一家创新企业https://www.sodocs.net/doc/1d8264532.html,
2017公需科目大数据多选题
2017公需科目多选题（132题） 1《大数据背景下的公共治理模式变革（中）》在“智慧化的扩建布局”内容中提出“四大政府”，其中四大政府包括（）。正确答案：【B】 【C】【D】【E】 2《大数据下的资源整合和知识共享（上）》提到，物联网在逻辑上包含（）几个层级。正确答案：【A】【B】【D】 3《大数据下的资源整合和知识共享（下）》提到，利用大数据，协助监管遗漏的违法事件以及社会不文明现象是有必要的，目前的社会问题主要有（）。正确答案：【A】【B】【C】【D】 4根据《保密技术防范常识（中）》，以下关于美国的网络霸主地位的表现说法正确的是（）。正确答案：【B】【C】【D】【E】 5根据《保密技术防范常识（中）》，以下设备可能属于窃听设备的是（）。正确答案：【A】【B】【C】【D】【E】 6根据《大数据背景下的公共治理模式变革（上）》，从信息化本身历程来讲，可以概括为（）。正确答案：【B】【C】【D】 7根据《电子政务网络安全保障体系建设》，安全威胁产生的原因包括（）。正确答案：【A】【B】【C】 8根据《电子政务网络安全保障体系建设》，数据交换有三种方式，分别是（）。正确答案：【A】【B】【D】 9下列不属于第三信息平台的有（）。正确答案：【B】【E】 10（）通常具备轻资产、重知识、跨界融合等特征，以批代管和偏重目录准入管理的模式制约了新经济的发展。正确答案：【A】【B】【C】【D】 11）新经济是以技术进步为主要动力，在制度创新、需求升级、资源要素条件改变等多要素的驱动下，以大量的（）蓬勃涌现为显著特征，以信息经
济、生物经济、绿色经济为主要发展方向的新经济形态。正确答案：【A】【B】【C】【D】 12 “大数据”这个词同下列词语（）一样，都是从国外学来的。正确答案：【A】【B】【C】【D】【E】 13《保密技术防范常识（上）》提到，“互联网+”时代的发展趋势包括（）。正确答案：【A】【C】【E】 14《保密技术防范常识（下）》提到，电磁泄露发射泄密的防范包括（）。正确答案：【A】【B】【C】【D】【E】 15《保密技术防范常识（下）》提到，运营商生态链由（）构成。 正确答案：【A】【C】【D】【E】 16《大数据背景下的公共治理模式变革（上）》提到，大数据处理模式包括（）。正确答案：【A】【B】【C】【D】 17《大数据背景下的公共治理模式变革（下）》认为，面对深刻的社会变革，（）是政府治理走向现代化的必然选择和必然趋势。正确答案：【A】【B】【C】 18《大数据背景下的公共治理模式变革（下）》认为运用（）等新技术可以促进社会治理和公共服务的实现。正确答案：【A】【B】【C】 【D】 19《大数据背景下的公共治理模式变革（下）》提到，提高政府社会治理能力，要围绕（）等多个领域实行监管。正确答案：【A】【B】 【C】【D】【E】 20《大数据背景下的公共治理模式变革（中）》在“智慧化的扩建布局”内容中提出“四大政府”，其中四大政府包括（）。正确答案：【B】 【C】【D】【E】
心得体会：大数据助力政府高质量服务(最新)
心得体会：大数据助力政府高质量服务（最新） 伴随着移动互联网、智能终端和云计算等各类技术的快速普及，数据的产生和消费进入到了前所未有的快速增长阶段。相关分析表明，人类社会在过去两年所获得的数据量占到有史以来数据总量的90%。数据被称之为新时代的“石油”“电力”，是取之不尽、用之不竭的新型宝藏。政府是大数据应用的引领者。政府所拥有的得天独厚的各类数据是其开展高质量服务的基础性战略性资源，依托日益成熟的大数据技术，使其更好地为政府高质量服务赋能，促进政府服务不断优化升级是各级政府所面临的共同选择，更是必须面对的现实问题。 大数据是政府高质量服务的重要支撑 从全球范围来看，无论是发达国家还是发展中国家，政府都是全社会数据资源的主要拥有者。可以说，相较于其他市场实体，政府在应用大数据提供公共服务时所面临的困难最小、为社会所创造的价值更多、数据资源应用的潜力也更大。目前的难点也是关键点在于如何能更好地落地，这不仅关系到政府职能发挥的能力和水平，更是
关系到如何利用数据资源为经济社会发展赋能的大局，在很大程度上决定着一个地区甚至一个国家的整体实力和未来潜力。 大数据是政府履职的血液。政治职能、经济职能、文化职能、社会职能是政府的基本职能，从本质上看，其履职很大程度上都需依靠数据的流动。换言之，政府业务数据化的程度，既反映出政府执政能力的高低，也决定着政府在引领经济社会数字化发展中的地位和作用。 大数据是政府重大决策的主要依据。决策既是政府职责的首要任务，也是政府领导能力和服务水平的重要体现。在缺乏基本数据的条件下，很多重大的决策往往只能依据决策者的历史经验和个人判断作出，往往会出现“长官意志”“拍脑袋决策”。依托全面海量的数据资源，在清洗关联的基础上进行综合分析，让数据说话、凭数据决策、用数据管理，将大大提高公共决策的科学性和可靠性，更将成为大数据时代政府决策的常态。 大数据是政府提供高质量服务的利器。政府不但是各类重要数据资源的生产者，如统计数据、宏观分析数据等，而且还是数据的使用者。尤其是在面向社会提供服务的过程中，政府所掌握的各类数据是最重要的服务资源。因此，利用大数据技术将政府数据资源转化为服务优势是各级政府部门共同面临的现实需求。
大数据技术原理与应用-林子雨版-课后习题答案复习进程
大数据技术原理与应用-林子雨版-课后习 题答案
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
大数据时代的思维变革
大数据时代的思维变革 作者：贾凯 来源：《现代审计与经济》 2016年第4期 贾凯 大数据是这几年互联网领域的一大热门话题。最近，这个话题的热度已经不仅局限在互联 网领域了，正在逐渐拓展到其他领域，成为全社会关注的话题。那么，什么是大数据？大数据 的特点是什么？为什么现在才有大数据？大数据的应对方法是什么？大数据时代能带来哪些变革？这些变革对于审计工作有什么影响？这一系列问题都有待回答，本文将量力而行，给以上 问题做出初步回答。 一、什么是大数据 毫无疑问，大数据是一个新鲜概念。对于这样的新鲜概念，其定义也要经过时间的积淀才 能明确。就目前而言，业界公认度高的是ＩＤＣ的“ ４Ｖ” 理论，即 Ｖoｌｕｍｅ（数据量大）、Ｖａｒｉｅｔｙ（数据多样性）、Ｖｅｌｏｃｉｔｙ（数速大）和Ｖａｌｕｅ（价值密度低），在此基础上，ＩＢＭ重新定义并完善了“ ４Ｖ”理论，将最后一个“ Ｖ” 改而解释为Ｖｅｒａｃｉｔｙ（真实性）。但大数据技术的战略意义不在于 掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，从大数据中提取、挖掘 对业务发展有价值的潜在知识，找出趋势，做出预测性分析。 二、为什么现在才有大数据 可以从数据的产生、采集、存储三个步骤来分析：一是生产信息的门槛降低了。要想知道 现在数据产生有多方便，可以首先回顾一下以前的数据产生方式：20年前，如果想让别人知道 你的观点，只能是向报纸投稿，或者出版著作，这要求的写作技能太高了，对普通人来说是不 可能的。10年前，博客开始流行，稍有写作水准的人都可以发表文章。4年前，微博大行其道，只要不是文盲，就能玩转这最多只有140个字的小玩意儿。现在呢，手机拍照，分享到微信朋 友圈，已经成为大多数人的新选择，朋友圈甚至都不鼓励用户发纯文本的状态。在这个时代， 几乎人人都可以玩转朋友圈了。可以看到，每一次变革都极大地降低了生产信息的难度，极大 地扩充了具备生产数据能力的人群。所以说，技术的进步给了普通人发表观点的机会。 二是数据采集的难度降低了。这一点主要得益于现实世界的不断数字化，线下的内容不断 向线上迁移，具体表现为两个方面。首先是，原来需要专业技术人员才能干的事情，现在普通 人也能干了。比如给人物留影，从画家蜕变为摄影师，到现在人人都能拍照。再比如测量地理 位置，以前要专业的测绘人员，现在打开手机地图应用就可以了。其次是，以前不可能实现的 数据采集，现在也能实现了。例如，顾客在每样商品前的停留时间。在传统的商店里，采集这 个数据是不可能完成的任务，而在淘宝上，顾客在每个商品页面的驻留时间，是一目了然的事情。 三是数据存储的成本降低了。大约十几年前U盘的卖点是1MB只需要1块钱，现在京东上 1T的硬盘，价钱不到400元，更别提企业的大规模采购价了。 以上三点，决定了大数据时代只有在现在才能到来。其中第二条更是可以说明，为什么大 数据最先兴于互联网领域，因为互联网领域的数据采集难度最低。但是，随着传感器技术的进 步和物联网的发展，大数据将无疑会渗透到各行各业。
大数据的思维方式
大数据的思维方式 大数据的思维方式总体思维 社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。 容错思维 在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论
在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。 相关思维 在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，
解析大数据思维的五大商业本质——课后测试
课后测试 测试成绩：70.0分。恭喜您顺利通过考试！ 单选题 ?1、下列关于个性化思维的说法正确的是？（10 分） A 一切皆可量化 ? B 以消费者为中心 C 一切皆可尝试 D 一切皆有联系 正确答案:B ?2、下列关于“探索未知的思维变革”的说法错误的是？（10 分） A 从追求因果关系到追求相关关系 B 从追求算法到追求数据 C 大数据的复杂计算和小数据的简单计算 ? D 大数据的简单计算和小数据的复杂计算 正确答案:C 多选题 ?1、下列哪些属于实体商家的经营难题？（10 分） A 客流量少 B 宣传成本高 C 回头客少 D 成交率低 正确答案:A B C D ?2、门店流量持续下降的现状是什么？（10 分） A 实体经营趋于稳定 B 人流量持续上升 C 人口增长红利衰减 D 用户增长逐渐放缓
正确答案:A C D ?3、下列关于“管理决策的思维变革”说法正确的是？（10 分） A 从事后总结到事前规划 B 从定性描述到定量分析 C 从拍脑袋到用数据说话 D 从抽样调研到全体数据分析 正确答案:A B C D ?4、在大数据的世界里，我们需要知道客户的哪些最基本的信息？（10 分） A 消费习惯 B 用户喜好 C 用户需求 D 消费能力 正确答案:A B C D ?5、大数据在哪些阶段内会成为第四范式？（10 分） A 经济科学阶段 B 理论科学阶段 C 计算科学阶段 D 数据密集型阶段 正确答案:A B C D 判断题 ?1、大数据的世界不只是一个单一的巨大的计算机网络，而是一个由大量活动构件以及多元参与者元素所构成的一个生态系统。（10 分） ? A 正确 B 错误 正确答案:正确 ?2、大数据下新零售门店的变革目的是吸粉和留存。（10 分） ? A 正确 B
大数据时代的思维革命(演讲稿)
大数据时代的思维革命 目前再说“我们生活在一个网络时代”的话，显得有点落伍了，当下最时髦的说法是“我们生活在一个大数据时代”。从表层意义上看，人们是用“大数据”来描述和定义信息爆炸时代产生的海量数据。实际上，“大数据”的渗透能力远远超出人们的想象，不管是在物理学、生物学、环境生态学等领域，还是军事、金融、通信、贸易等行业，数据正在迅速膨胀，没有一个领域可以不被波及。“大数据”正在改变，甚至颠覆我们所处的整个时代，对社会发展产生方方面面的影响，也让我们的思维不得不跟随时代的变迁而经历自我革命。 2013年5月20日，在北京朝阳北路朝阳大悦城六楼，一家餐厅低调开业了。没有热闹的广告，没有红地毯，没有领导剪裁和讲话，有的只是长达半年的封闭测试，邀请一些明星“吃货”们试吃，这些明星“吃货”一旦被成功邀请，就立即通过微博、微信向粉丝们讲述就餐感受。而这家餐厅通过分析明星与粉丝的互动信息等大数据，渐渐掌握了话语权，并尽可能地改造菜品、环境、流程。于是，一个传奇诞生了。这家名为“雕爷牛腩餐厅”现在被标榜为中国第一家“轻奢餐”餐饮品牌，其烹饪牛腩的秘方是向周星驰电影《食神》中的原型人物——香港食神戴龙——以500万元购买而得。戴龙经常为李嘉诚、何鸿燊等港澳名流提供家宴料理，他还是1997年香港回归当晚的国宴行政总厨，所以他的代表作，一道“咖喱牛腩饭”和一道“金汤牛腩面”，成为无数人梦寐以求的舌尖上的巅峰享受。这是微博、微信的胜利，也是互联网的胜利，更是大数据的胜利。以互联网为主要手段的大数据，就这么征服了市场，颠覆了经典，创造了传奇。 其实，雕爷传奇绝非个案，在大数据时代，这样的传奇每天都会发生。小米、黄太吉的成功都是基于大数据思维。我们身处大数据时代，很多的
浅谈大数据战略在财政管理中的作用
一、大数据定义 分析师早起定义的大数据：资料量（Volume）、资料传输速度（Velocity）、资料类型（Variety）。在此基础上衍生出真实性（Veracity）等V系列。 大数据并不是崭新的概念，几十年前科学家就在处理每秒上PB的巨量资料。近几年才出来?大数据?概念，是因为现今要处理的资料量更庞大、资料产生跟处理速度更惊人、资料来源更多样，于是处理、储存大量资料的新技术跟工具快速发展，新技术诞生后，开发者跟使用者需要一个更专业的名词来与之前的科技做出区别，于是‘大数据’诞生了。因此，大数据不只是指资料，也指这些用来分析，处理巨量资料的新兴科技。 过去的资料大部分是人工手工记录下来交易资料，现在则是机器替我们记录下来的交易资料，除此外还有人们跟事物、企业间的互动资料，最终都是通过机器自动生成、累积下来的观察资料。 大数据是由交易、互动、观察资料所组成的资料型态。 大数据定义为：以前因为科技所限而忽略的资料。即暗数据。 也有人认为大数据只是商业智慧和商业分析演化后的新字眼。
大数据是在多样的或者大量的数据中，迅速获取信息的能力。必须在尽可能短的时间内发掘出价值。大数据的核心能力是发现规律和预测未来。 大数据是任何超过了一台计算机处理能力的数据量。 搜集行为数据，进一步挖掘分析，就可以发现大量隐藏在大量细节背后的规律，依据规律，预测未来。 利用大数据技术（搜集和分析数据的技术），能够广泛采集各种各样的数据类型，进行统计分析，从而预测未来。 大数据分析工具（开发预测模型和规范模型），用于分析数据。 大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。 随着业务的不断扩张和历史数据的不断增加，数据量的增长是持续的 1.数据量大，TB，PB，乃至EB等数据量的数据需要分析处理。 2. 要求快速响应，市场变化快，要求能及时快速的响应变化，那对数据的分析也要快速，在性能上有更高要求，所以数据量显得对速度要求有些“大”。 3. 数据多样性：不同的数据源，非结构化数据越来越多，需要进行清洗，整理，筛选等操作，变为结构数据。
(完整版)大数据技术原理与应用林子雨版课后习题答案
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？
答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。 8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术
答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
大数据时代的思维革命的演讲稿
大数据时代的思维革命的演讲稿 目前再说“我们生活在一个网络时代”的话，显得有点落伍了，当下最时髦的说法是“我们生活在一个大数据时代”。从表层意义上看，人们是用“大数据”来描述和定义信息爆炸时代产生的海量数据。实际上，“大数据”的渗透能力远远超出人们的想象，不管是在物理学、生物学、环境生态学等领域，还是军事、金融、通信、贸易等行业，数据正在迅速膨胀，没有一个领域可以不被波及。“大数据”正在改变，甚至颠覆我们所处的整个时代，对社会发展产生方方面面的影响，也让我们的思维不得不跟随时代的变迁而经历自我革命。 xx年5月20日，在北京朝阳北路朝阳大悦城六楼，一家餐厅低调开业了。没有热闹的广告，没有红地毯，没有领导剪裁和讲话，有的只是长达半年的封闭测试，邀请一些明星“吃货”们试吃，这些明星“吃货”一旦被成功邀请，就立即通过微博、微信向粉丝们讲述就餐感受。而这家餐厅通过分析明星与粉丝的互动信息等大数据，渐渐掌握了话语权，并尽可能地改造菜品、环境、流程。于是，一个传奇诞生了。这家名为“雕爷牛腩餐厅”现在被标榜为中国第一家“轻奢餐”餐饮品牌，其烹饪牛腩的秘方是向周星驰电影《食神》中的原型人物——香港食神戴龙——以500万元购买而得。戴龙经常为李嘉诚、何鸿燊等港澳名流提供家宴料理，他还是1997年香港回归当晚的国宴行政总厨，所以他的代表作，一道“咖喱牛腩饭”和一道“金汤牛腩面”，成为无数人梦寐以求的舌尖上的巅峰享受。这是微博、
微信的胜利，也是互联网的胜利，更是大数据的胜利。以互联网为主要手段的大数据，就这么征服了市场，颠覆了经典，创造了传奇。 其实，雕爷传奇绝非个案，在大数据时代，这样的传奇每天都 会发生。小米、黄太吉的成功都是基于大数据思维。我们身处大数据时代，很多的传奇在发生，但也很快就有可能被淹没在大数据时代的汪洋大海里。 其实，所谓的大数据思维具有三层含义。第一层含义是，大数 据思维必须分析全面的数据而非随机抽样，必须重视数据的复杂性，弱化精确性，必须关注数据的相关性，而非因果关系。第二层含义是要把数据当做一种可以升值的重要资产，而不是只做研究对象，研究完就束之高阁。第三层含义是数据有变现功能，通过挖掘数据价值，就能改变价值的生成基础和价值链条。 历史上任何一次成功的变革都是由思维方式的转变开始的，旧 的体制和传统理念在面临新的思维逻辑的时候，如果不能与时俱进，吸收并转变为顺应潮流的新思维，通过新思维来重新组织战略和策略，那么任何过去成功的经验反而会成为阻碍发展的桎梏。这种新思维颠覆巨头的案例最先发生在信息技术的传统领域，然后渗透到传统的商业领域。比如黑莓，比如摩托罗拉，比如诺基亚，比如柯达，比如雅虎等等，案例比比皆是。 大数据思维的基础是互联网，而互联网有没有思维呢？答案是 肯定的。在xx年，互联网思维是科技先锋大拿们的热门话题，一个 个以互联网思维为话语体系的圈子论坛及营销甚嚣尘上。就连CCTV
大数据技术原理与应用 林子雨版 课后习题答案(精编文档).doc
【最新整理，下载后即可编辑】 第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
大数据带来的四种思维
大数据带来的四种思维 2015-02-01 10:31 来源：学习时报 张义祯 近年来大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为，大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。 总体思维 社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。 容错思维 在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面
大数据时代下的创新思维20170816
大数据时代下的创新思维 一、大数据时代下的创新思维 一、过去与未来：摩尔定律的时代VS数据为王的时代 在过去的五十年里，人类整个的发展根本的动力从科技的角度来讲，就是一个摩尔定律，什么意思呢？就是在1965年的时候，英特尔公司后来的创始人摩尔先生，他提出来在今后的十几年里，半导体处理器的性能，比如说容量、计算速度和复杂程度每18个月左右可以翻一番，他也没有预想到这件事一直发生了五十年，以至于整个人类发生了天翻地覆的变化。可以这么讲，我们过去的整个的社会的科技进步、工业进步以及这个GDP的提升都是靠这个摩尔定律，如果我们把这个摩尔定律带来的电信化从过去五十年中拿去，我们会发现我们可能GDP不但没有增加，而且还在减少。那么这是过去五十年的情况，在今后二十年它又会往哪儿走呢？ 在未来的二十年里，什么决定世界经济发展的方向？我认为如果说过去五十年是摩尔定律的时代，未来二十年就是数据为王的时代。大数据会带来机器智能，也就是说让我们的计算机变得非常聪明，以至于它超过我们人类的智能。为什么这么说呢？我们刚才讲了，计算机的发展速度本身是一个指数增长，而我们人的智能的发展速度是一个线性增长，甚至还会稍微慢一点，那么一定在某一个时间点，它会重合。今天可能就是这个重合的时间点，那可能你又会问了，为什么正好在这个时间点上，我们会有这么多的数据？一个是互联网的收集和积累，再有一个就是今天各种传感器，各种智能设备，各种监控设备，它们无时无刻地不在为我们提供大量的数据。而在我们过去，因为存储量、计算量不够的时候，我们把这些数据都抛弃掉了，不是说这些数据在过去不存在现在存在，只是说我们现在因为半导体事业的发展，我们有能力、有可能来存储和处理这样一些数据。 二、什么是机器智能 在讲机器智能以前，我们就首先要说说，什么是机器智能？我们都知道1946年人类第一台电子计算机诞生了，名字叫做ENIAC（电子数值积分计算机）诞生。那台计算机其实计算速度只有一秒钟五千次，大概是你的手机计算速度差不多可能几十万分之一。那么计算机诞生后不久，人类其实就开始考虑，说既然这个计算机计算速度能这么快，它能不能产生一些智能？所以五十年代初的时候，计算机老祖宗阿兰图灵就提出了一个叫图灵测试的概念。什么意思呢？就是说在屏幕后面，我放一台机器放一个人，然后我们问他一个问题，比如说天为什么是蓝色的？计算机给一个，人给一个，给出的答案让我来判断，说哪一个计算机给的？哪个是人给的？如果我判断不出来，哪个答案是计算机给的或者是人给的，已经能够把这两个答案要混淆起来了，我就认为机器和人一样的智能。人类为这个目标做了20年，这20 年的发展非常不顺利，到了1970年基本上计算机还做不了任何具有智能的事情。为什么会产生这样的问题呢？或者说这20年研究为什么会走弯路呢？主要是我们完全地按照人的方式去理解机器，没有完全按机器的方式理解。 举一个例子，预测美国总统选举结果这么一个例子。比较著名的大家可能听说过盖洛普这样一个预测公司，那么它实际上是用一些传统的抽样的统计方法做一些预测，有时灵，有时不灵。即使正确的时候，基本上误差两到三个百分点，在全国范围预测能准，但是你知道竞选是一个州一个州这么算选票，它不是一人一票制，所以它从来没有做到过美国50个州全部做对的。到了2012年，有一个毛头小伙子，这个人从来以前没有名，也不是什么了不得的科学家，他就做了一件事儿，他就在互联网上比如社交网络上，比如脸书上、推特上、地方
林子雨大数据技术原理与应用答案(全)
林子雨大数据技术原理及应用课后题答案 大数据第一章大数据概述课后题 (1) 大数据第二章大数据处理架构Hadoop课后题 (5) 大数据第三章Hadoop分布式文件系统课后题 (10) 大数据第四章分布式数据库HBase课后题 (16) 大数据第五章NoSQl数据库课后题 (22) 大数据第六章云数据库课后作题 (28) 大数据第七章MapReduce课后题 (34) 大数据第八章流计算课后题 (41) 大数据第九章图计算课后题 (50) 大数据第十章数据可视化课后题 (53) 大数据第一章课后题 ——大数据概述 1.试述信息技术发展史上的3次信息化浪潮及其具体内容。 第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。 第二次信息化浪潮1995年前后进入互联网时代。代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。 第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。 2.试述数据产生方式经历的几个阶段。 经历了三个阶段: 运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。 用户原创内容阶段Web2.0时代。 感知式系统阶段物联网中的设备每时每刻自动产生大量数据。 3.试述大数据的4个基本特征。
数据量大（Volume） 据类型繁多（Variety） 处理速度快（Velocity） 价值密度低（Value） 4.试述大数据时代的“数据爆炸”特性。 大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。 5.科学研究经历了那四个阶段？ 实验比萨斜塔实验 理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。例如：牛一，牛二，牛三定律。 计算设计算法并编写相应程序输入计算机运行。 数据以数据为中心，从数据中发现问题解决问题。 6.试述大数据对思维方式的重要影响。 全样而非抽样 效率而非精确 相关而非因果 7.大数据决策与传统的基于数据仓库的决策有什么区别？ 数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。 大数据决策面向类型繁多的，非结构化的海量数据进行决策分析。 8.举例说明大数据的具体应用。 汽车行业大数据和物联网技术无人汽车
大数据带来的四种思维
大数据带来的四种思维 作者：张义祯 近年来大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为，大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。 总体思维 社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析
数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。 大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。 如：照片到电影，一分钟一张，一秒钟一张，一秒钟24张成了电影 量变质变定律有时间阶段发展影响和空间相关关联影响 离散思维向连续思维转换 让我来告诉大家，美国有一家创新企业https://www.sodocs.net/doc/1d8264532.html,。它可以帮助人们做购买决策，告诉消费者什么时候买什么产品，什么时候买最便宜。预测产品的价格趋势。这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据，然后帮助数以十万计的用户省钱，为他们的采购找到最好的时间，提高生产率，降低交易成本，为终端的消费者带去更多价值。 在这类模式下，尽管一些零售商的利润会进一步受挤压，但从商业本质上来讲，可以把钱更多地放回到消费者的口袋里，让购物变得更理性。这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司，在几个星期前，被ebay以高价收购。
大数据时代下的税收思维
大数据时代下的税收思维 摘要：过去，由于受到技术、思维等多方面等的限制，人类在采集和使用数据时为了节约时间，增加准确性，更多采用了随机采样法，这个时代被称为“小数据时代”。小数据时代的特点是：样本随机性、数据精确、因果关系论、结果群体化。在大数据时代，数据收集、存储和分析工具极大提升，这使得“样本=总体”的全数据模式得以实现，数据处理的总体特点变为：要全体不要抽样，要效率不要精确，要相关不要因果。这颠覆了千百年来人类的思维惯例，对人类认知和与世界交流的方式提出了全新的挑战。大数据时代中的税收管理也应当顺应时势变化，及时转变思维，提出创新举措。 关键词：税收大数据思维 大数据，一个既熟悉又陌生的词汇，每天我们不断通过各种渠道听到这个词，但并不知道其实大数据时代早已来到我们身边。 2014年11月11日，阿里巴巴旗下的天猫商城共实现571亿元人民币的销售额，创造了一项新的吉尼斯纪录。而以阿里巴巴为代表的电商新营销模式的极大成功背后，大数据的运用可以说立下了汗马功劳。据阿里巴巴在2014年3月披露的一项数据显示，阿里巴巴数据中心已经攒下超过100PB（1PB=1024TB）经处理的数据，这一数据量相当于1亿部高清电影，580亿本藏书。如何让这些数据产生价值？”双十一”就是最好的试金石。今年的天猫”双十一”，活动页面、商品排序都是阿里巴巴公司经过算法得出，哪些商品能进入”双十一”会场、出现在哪些用户的页面和页面的什么位置，都有数据算法在背后作支撑。大数据的算法可以使流量实现个性化，从而使不同的人看到的”双十一”页面都不一样，也使得商品推荐更加精准。对于商家而言，大数据分析能够预测下一阶段的消费热点并提出销售建议。例如今年一家食品公司在七月份收到阿里巴巴的建议，在”双十一”进口食品预售中，Rio推出的定制版Hello Kitty鸡尾酒将热卖。为什么用Hello Kitty而不是蜡笔小新？背后的依据就是大数据。与其说大数据带来的是技术上的变革，不如说大数据给我们带来了有关数据挖掘、处理、使用上的思维变革。 税收数据是经济运行的晴雨表之一，它直接反映了经济运行状况，不但对政府决策和预算有价值，而且对社会、公众生活、生产、投资决策都有着不可估量的作用。在大数据科技浪潮的背景下，如何将大数据思维引入税收过程中，对于开展新一轮财税改革具有不言而喻的重要意义。 一．税收数据范围从税源的“样本数据”到税源的“全体数据” 大数据与三个重大的思维转变有关。第一个就是利用所有的数据，而不再仅仅依靠一小部分。即分析与事物相关的所有数据，而不是依靠分析少量的数据样本。以前由于受技术、硬件的制约，数据收集和分析能力非常有限，人们不得不采用样本分析等方式从最少的数据当中挖掘出尽量多的信息。而在数字化时代，数据处理技术发生了翻天覆地的变化，短时间内分析成千上万的数据成为可能，数据收集的原则也由原来的“收集部分”转变为“收集尽可能多”，因为尽可能多的数据便于人们正确地考察细节和分析微观层面从而提高分析和决策的准确性。大数据的魅力正在于任何一个不经意的数据都有可能转化为资源财富。 在我国，随着经济全球化和社会主义市场经济的深入发展，税源状况发生重大变化，纳税人数量迅猛增长、企业规模日益庞大、经济业务类型日趋复杂、税务职能不断转变、减政放权之路日趋深入，这些庞大的数据因素都使得税收管理面临着前所未有的严峻挑战。与税