大数据产业园

重庆大数据产业园

到2017年，重庆市要在海量数据存储、数据预处理、新型数据挖掘分析、大数据关键设备等领域突破一批关键技术，推动大数据技术在电子政务、民生服务、城市管理及相关重点行业的广泛应用，将大数据产业培育成全市经济发展的重要增长极，建成2-3个大数据产业示范园区，引进和培育10家核心龙头企业、500家大数据应用和服务企业，形成500亿元大数据产业规模，将我市建设成国内重要的大数据产业基地。

所谓的大数据产业园区，需集聚一批从事大数据存储、分析、应用、加工等信息服务企业，形成面向电子信息、装备制造、汽车摩托车、能源化工、金融服务、商贸流通、电子政务等行业提供大数据应用服务的产业聚集区。

一、大数据产业链

在大数据产业链崛起的过程中，将延伸出许多新行业，产生庞大的延伸商机，而渝企则可围绕硬件、软件、服务三大方面掘金。

以硬件为例，当大数据产业链发展后，就需要各种传感器，例如图像传感器、温度传感器、压力传感器等，制造型企业就可以围绕传感产业做文章。此外，交换机、路由器、机顶盒等产品的应用需求，也将给企业带来庞大的商机。

在软件开发上，大数据产业的发展，需要有专门的公司开发数据存储系统、数据传递系统、无线模块、数据分析软件等，这为科技型企业提供了巨大的空间。在应用服务方面，运营商可提供各类通信服务，结算型企业可提供营销结算业务。

二、云计算产业链结构

1、基础设施类：

浪潮信息：公司是中国领先的计算平台与IT应用解决方案供应商，同时，也是中国最大的服务器制造商和服务器解决方案提供商。公司提出行业云的概念，提供IaaS 解决方案，是国内的云计算龙头企业。

中兴通讯：牵头成立非正式兴趣组(Bar BOF)，在IAB & IESG 获得通过并获许成立云计算运维工作组和云计算应用兴趣组。“电信云计算”三大核心技术：中兴通讯分布式结构化存储、中兴通讯云存储分布式文件系统、中兴通讯虚拟化技术。公司称其“彩云”Cloud 平台正服务于多家电信客户。

鹏博士：公司主营的电信增值业务是云计算应用的基础设施业务。公司拥有的城域光纤网已达到12000公里，覆盖北京城区和18个区县。公司在高端商业客户互联网专线接入的市场份额达到50%，网吧专线接入市场份额接近100%，互联网数据中心业务也占有较高的市场份额。

2、应用平台供应商：

网宿科技：公司是一家互联网业务平台提供商，知识和技术密集型的高新技术企业，自主研发了速通VPN企业互联平台系统、网宿CDN平台软件V2.0、网宿 CDN平台软件V3.0、网宿快速海量文件传输软件V1.0、网宿分布式海量存储软件V1.0、网宿服务质量监测软件V1.0等专有技术，并取得了计算机软件著作权。云计算概念股，主要向客户提供内容分发加速网络服务及互联网数据中心(IDC)服务。

华胜天成：公司作为信息技术应用与服务提供商，主营业务包括硬件及系统集成、软件、IT服务三部分。公司主要客户是电信运营商、金融企业、邮政体系等。在硬件及系统集成领域，公司是国内最大的 Sun服务器提供商。在IT服务业务上，公司依托与电信运营商、设备制造商等的良好合作关系，在电信领域形成了较强的竞争优势。软件业务上，公司主攻对应服务器网络的嵌入式软件和面向行业的应用软件。

3、安全产品供应商：

卫士通：公司提供全系列密码产品、安全产品和安全系统，包括核心的加密拈和安全平台，密码产品和安全设备整机、以及具备多种安全防护功能的安全系统，是目前国内以密码为核心的信息安全产品和系统的最大供应商。同时公司具备提供信息安全整体解决方案、提供安全集成和工程实（财苑）施服务的能力，能为用户提供一揽子解决方案，满足用户对信息安全的全方位需求。建立国内首家“安全云实验中心”，已推出基于云技术的全系列安全存储产品。2010 年9 月推出“安全云存储系统”。

启明星辰：公司是一家拥有完全自主知识产权的网络安全产品、服务与解决方案的提供商，我国自主创新重要的民族品牌和网络安全行业的领导者，也是入侵检测与防御、漏洞扫描、统一威胁管理网关(UTM)、安全合规性审计、安全专业服务和安全管理平台(SOC)的市场领导者。预期通过整合相关技术将大大加强公司在以网络为基础的云计算市场的竞争力。

4、应用软件和服务：

用友软件：公司是亚太地区最大管理软件供应商之一，国家重点软件企业。公司的管理软件、ERP软件、财务软件等产品在国内处于领先地位，“用友软件”是中国软件行业最知名品牌。公司的ERP/企业管理软件、集团企业和行业解决方案和小型企业管理软件及在线服务三条产品业务线，全面覆盖众多行业领域、企业规模和成长阶段。目前正加大小型企业管理软件及在线服务投入。发布S+S 的云服务核心策略，计划2015年成为亚洲最大的云服务提供商。

焦点科技：公司是一家本土领先的综合型第三方B2B电子商务平台运营商，国内最早专业从事电子商务开发及应用高新技术的企业之一，致力于为客户提供全面的电子商务解决方案。公司的业务特点非常适合应用云计算以提高效率，降

低成本。自主开发运营的中国制造网电子商务平台作为第三方B2B 电子商务平

台为中国供应商和全球采购商(供求双方)提供了一个发布供求信息和寻找贸易

合作伙伴的电子交易市场，为供求双方提供交易信息的发布、搜索、管理服务，提供初步沟通与磋商的手段与工具，及其它涉及供求双方业务与贸易过程的相关服务。向云计算的过渡迁移有利于提高公司业务的效率，降低成本。

数字政通：公司专业从事基于GIS应用的电子政务平台的开发和推广工作，为政府部门提供办公自动化(OA)、业务管理系统(MIS)和地理信息系统 (GIS)一体化的电子政务管理信息系统，并提供政府各个部门间互联应用的关联型电子政务管理平台。公司在数字化城市管理领域市场占有率处于首位，至今承担了包括东城区网格化城市管理信息平台在内等十几个项目的应用系统开发工作。在国土、规划和房产等领域，数字政通成功实施过的各级政务系统七十余个，通过国土资源部、云南省国土资源厅、昆明市等诸多项目的实施，成功构建了部、省、市、县(区)四级国土资源管理部门基于数据同步和共享的电子政务协同工作平台。

四维图新：公司是中国领先的导航地图和动态交通信息服务提供商，由国家测绘局创建的唯一专业从事测绘的国家级公司。致力于为主流汽车制造厂商、汽车电子厂商、手机生产商、便携导航设备厂商、移动通信服务商和互联网平台提供专业化、高品质的导航电子地图产品和服务。公司是中国第一、全球第五大导航电子地图厂商，连续7年在中国车载导航地图市场份额超过60%，连续3年在手机导航地图市场份额超过50%，并在移动位臵服务、互联网地图服务、交通信息服务领域全面领先。

超图软件：公司是亚洲领先的地理信息系统平台软件企业，从事地理信息系统软件的研究、开发、推广和服务，是我国 GIS行业最具技术实力的企业。主

营业务贯穿GIS软件产业链的三个组成部分，在国内GIS软件行业保持优势竞争地位，国产GIS基础平台软件市场份额第一。研发的GIS基础平台软件具有良好的通用性，既可直接销售给最终用户，也可销售给增值开发商。

中关村大数据产业园

一、中关村初现大数据产业链

大数据产业链大致可以分为数据资源、数据应用软件、IT基础设施三大部

分。中关村大数据技术发展已与硅谷同步，海量数据挖掘等技术都处于国内领先地位，大数据产业链雏形已经初步显现。

中关村是国家各部委信息中心、三大运营商、国内大型互联网平台公司等拥有高价值密度数据机构的集中区域，拥有全国最大规模和最有价值的数据资产。同时，依托全球最密集的科教资源、软件人才和海外留学人员创业优势，中关村率先开展关于数据科学与工程实践相结合的跨学科跨产业大规模研讨。

而在数据应用软件、IT基础设施方面中关村企业各显身手：初创企业北京忆恒创源科技有限公司成功研发出的固态硬盘产品PCIe 闪存卡，其每块硬盘的性能相当于6000块机械硬盘，每3秒钟可传输一张DVD光盘的数据量，帮助用户很好地解决了数据中心IT设备性能的技术瓶颈。

北京天地超云科技有限公司在2010底率先推出国内首批云计算服务器，可针对各种不同的应用场景，通过预装虚拟化软件与资源调度软件，为客户打造“开箱即用”的云计算基础设施解决方案。而支持高温运行环境的云服务器系统，在满足用户对卓越性能、苛刻稳定性要求的同时，还能最大化减少能耗、降低运维成本，充分保护用户的投资。

云端时代致力于成为业内领先的云终端设备、桌面云系统和“云+端”管理平台的整体解决方案提供商，帮助中国企业向“云+端”架构转型。研发的云终端硬件比传统PC小巧很多，体积大约只有PC的1/16；其功耗极低，只有PC 的1/10还弱；由于功耗极低，其故障率也相应大大降低，云端时代已经具备提供整体桌面云系统解决方案的能力。

美科德（北京）科技有限公司推出国内首家个人云整体解决方案MYCLOUD，整合个人信息中心，个人社交中心，个人娱乐中心，为用户创造最前沿的云端体验。亿赞普在大数据处理和数据分类技术上处于国际领先地位，通过与全球运营商及互联网网站合作建立的云媒体平台，将覆盖包括欧洲、拉美、独联体和亚太地区的92个国家，可协助中国大量的本土企业全球扩张，实现从“中国创造”到“中国品牌”的跨越和提升。

亿赞普（北京）科技有限公司基于技术和商业模式的创新，搭建了全球化的大数据云媒体平台，并且是国内惟一能够规模收集、处理全球数据的互联网公司。亿赞普已与欧洲、拉美、亚太等地区的21个跨国电信运营商和数十万全球网站

合作，覆盖96个国家的8亿互联网用户，拥有每天100T数据处理能力。

北京天云融创科技是“中国云”的建设者、领导者和云系统专家，致力于云计算技术研发、云系统构建及云计算行业解决方案提供。公司专注于云平台、大数据的研发，自主开发了SkyForm云管理平台和BeagleData大数据产品体系，已成功应用于政府、运营商、金融、教育、医疗等众多行业客户的整体云计算解决方案中。

友友系统致力于云计算核心技术的研究和发展，开发云计算操作系统（CloudWare）及应用软件，为市场提供具有自主知识产权的云计算基础软件产品和行业解决方案，成为中国及世界领先的云计算基础技术的提供者。

二、大数据交易平台

京东入围中关村首个大数据交易平台

京东联合工信部电信研究院、中关村互联网金融协会、数海科技等部门，牵头成立了中关村大数据交易产业联盟。作为国内首个面向数字交易的产业组织，联盟将以推动数据资源开放、流通、应用为遵旨，广泛聚集大数据提供方、数据开发者、大数据交互平台、大数据使用方及数据投资者，努力构建覆盖全国的大数据流通、开发、应用的完整产业链。它将帮助企业和个人盘活手中沉积的海量数据资产，为政府机构、科研单位、企业乃至个人提供数据交易和数据应用的场所，并有望推动北京乃至中国在全球大数据产业发展中率先实现产业升级。

三、中关村大数据产业联盟这个产业联盟由百度、用友软件、中国联通、联想、北航、北京大学、阿里巴巴、腾讯、TCL、龙福成立的。

陕西沣西新城

沣西新城在西咸新区信息产业园内，建设了国内首个专业大数据产业园区。园区面积5平方公里，分为基础数据聚集区、数据应用研发区和数据叠加拓展区三大板块，以应用为导向，着力解决数据存储、分析、应用、增值等关键环节。

1、发展思路及目标：以实现数据的“规模化集中吞吐、深层次整合分析、多领域社会应用、高效益持续增值”为方向，大力发展数据存储、呼叫中心、IDC 中心、灾备中心、数据交换共享平台等业态，力争用十年左右时间，将园区建设

成为国家政务信息资源聚集地、社会商务资源集散地和西部超算中心。

2、战略规划和推进路径

第一步：以“存”为基础，引进龙头企业，形成行业核心数据的存储优势。依托中国联通、中国移动、中国电信、全国人口数据（西安）中心等核心项目，大力引进国家部委、金融机构、陕西省直机构的信息中心、数据中心、电子政务中心等项目。力争到2015年底，累计完成固定资产投资100亿元，引进数据项目20个，搭建机柜2万个，初步建成陕西大数据处理中心，基本建成大数据产业发展的网络传输平台和基础信息资源集聚区。

第二步：以“用”为核心，推动跨行业、跨部门数据的分析整合，创新“大数据”产业发展模式。搭建数据存储、交换、共享、交易的平台，不断拓展数据服务的深度和广度，延伸产业服务，实现数据资源向商业资产的转变，加快企业数据库由“成本中心”向“利润中心”的转型。力争到2017年底，建成具有行业影响力的“沣西数据市场”，完成固定资产投资200亿元，机柜规模达到5万个，实现产值200亿元，培育各类企业100家，形成相对完整的数据产业集群。

第三步，以“强”为目标，以拉长产业链、提升价值链为重点，辐射带动相关领域，实现信息产业的集群化发展。吸引一批国际知名的数据企业集聚，对人口、林业、医疗、社保、教育、地理信息等数据进行深度整合，发展新的终端产品，形成新的应用模式，实现数据资源高效益、可持续的保值增值，基本实现大数据商业化应用，基本完成大数据商业化运营平台建设和数据管理产业集聚。确保2020年建成以2-3个百亿级龙头企业，一批10亿元级数据企业为主体，机柜规模达到10万个，实现园区产值500亿元，从业人员超过5万人，大数据带动相关产业产值对西咸新区GDP贡献率超过15%，建成国家级大数据处理中

贵州大数据产业园

1、基础构建期(2014-2015年)

发展路径：在完成园区规划和完善宽带网络等基础设施的同时，加快贵州省各领域数据资源建设，启动大数据平台建设，实施重点领域应用示范工程。大力引进国家级数据资源库、存储与服务中心、数据灾备中心、超级计算中心，逐步

完善产业发展环境，加速吸引以大数据服务为核心的电子信息企业入驻和大数据人才汇集。

发展目标：到2015年，三大电信运营商数据中心等大数据产业基地基础设施基本建成，1-2个重点领域的大数据服务平台初具雏形，大数据应用服务初步形成布局。大数据基地初具规模，聚集一批大数据采集、存储、分析服务企业和软硬件配套企业。引进10家左右大数据存储管理、分析处理的先进企业和若干电子信息产品制造业的龙头企业，培育200家大数据保障、系统集成服务、数据服务软件研发的中小企业，基本形成大数据产业配套体系，初步建立以大数据应用为基本业态的产业发展模式。通过大数据带动相关产业规模达到1100亿元，引进和培养2000名大数据产业高端人才。

2、集群聚集期(2016-2017年)

发展路径：继续强化数据资源优势，完善优惠政策，健全配套产业体系和大数据标准规范体系，优化发展环境，深化与国家各部委、大型企业、科研机构和高等院校的合作，大力引进国内外数据存储、分析和应用服务的高端企业，逐步集聚一批国家部委的信息分析中心和国内外龙头企业的研发、服务、交易、结算总部，吸引和培育一批数据分析和数据应用企业，打造形成以数据分析、挖掘、组织管理、应用服务为核心的产业集群，争取在食品安全、环境保护、射电天文、民族医药等领域形成国家级数据处理和备份中心。

发展目标：到2017年，建成国内一流的数据资源中心，打造形成国内一流大数据产业基地和科技密集型的新一代信息技术产业集聚区。引进或培育30家大数据龙头企业，500家创新型大数据相关企业，产业链条基本健全，研发创新能力显著增强，能提供较为全面和专业的大数据分析、挖掘、组织和管理等服务，实现大数据与云计算、物联网、移动互联网等业态的融合发展，形成以数据服务为核心的产业集群化发展模式。通过大数据带动相关产业规模达到3000亿元，引进培养5000名大数据产业高端人才。

3、创新突破期(2018-2020年)

发展路径：推动大数据服务、云计算服务、物联网服务、移动互联网服务的融合协同发展，拓宽以数据资源为基础的信息服务业发展空间，完善高端品牌创建、高素质人才引入、高增值和高回报产业培育，不断充实巩固大数据产业基地

的资源实力、创新实力和市场竞争实力。吸引更多信息技术产业领域相关软硬件产品企业和服务企业，逐步形成与贵州地方产业基础和优势条件对应的信息技术产业体系，提高贵州省新一代信息技术产业发展水平。

发展目标：到2020年，国内一流的数据中心地位进一步巩固，大数据产业基地基本建成，数据为基础的信息服务产业特色明显，大数据、云计算应用和服务水平居国内领先地位，产业体系健全，成为西部地区重要的、全国有影响力的战略性新兴产业基地。通过大数据带动相关产业规模达到4500亿元，吸纳就业20万人。

中国电信云计算中心总占地500亩，总投资70亿元，一期建成后服务器容量为100万台，2014年底起可陆续投入商用。

中国移动(贵州)数据中心项目计划总投资20亿元，用地约275亩。项目总规模约21万平方米，包括16万平方米新型绿色数据中心机房，1万平方米仓储用房，4万平方米生产支持用房。

中国联通(贵安)云计算基地占地约500亩，计划投资约50亿元，主要建设基础构架、数据中心资源地、灾备系统、机房建设等设施。

物联网产业链

所谓物联网(Internet of Things)，又名传感网，指的是将各种信息传感设备，如射频识别(RFID)装置、红外感应器、全球定位系统、激光扫描器等种种装置与互联网结合起来而形成的一个巨大网络。其目的是让所有的物品都与网络连接在一起，方便识别和管理。物联网是利用无所不在的网络技术建立起来的，是继计算机、互联网与移动通信网之后的又一次信息产业浪潮，是一个全新的技术领域。

从产业链角度看，与当前的通信网络产业链是类似的，但是最大的不同点在于上游新增了RFID和传感器，下游新增了物联网运营商。其中RFID和传感器是给物品贴上身份标识和赋予智能感知能力，物联网运营商是海量数据处理和信息管理服务提供商。

实际上，和美国相比，国内物联网产业链完善度上存在较大差距。据了解，目前我国下游的通信运营商(三大运营商)和中游的系统设备商(中兴、华为)都已是

世界级水平，其他环节相对欠缺，但存在很大的突破空间。再加上物联网的远景是“万物联网”状态，多涉及地图位置信息，国家对信息安全的重视程度势必比互联网和电信网更为突出，所以国内厂商的机会将会更大。

从规模上看，RFID和传感器是整个网络的触角，所以潜在需求量最大；而且从当前的情况看，由于已经有较多的行业应用，且政府支持力度开始加大，RFID 和传感器企业在中短期具有较高的投资价值。但同时，相对其他环节，该环节的入门门槛不高也将会导致产品平均售价一路走低，未来或将面临增量难增收的情况。

物联网运营涉及的领域则更为广泛，包括交通运输、新能源、电力、金融保险，还有智能建筑等等方面，目前物联网应用还仅仅运用于电力、交通等单独的行业和企业。国联证券分析师认为，运营商将是物联网受益周期最长的环节。

三步走完成规模化效应，上游机会最多

从时间维度看，首先受益的是RFID和传感器厂商，接着是系统集成商，最后是物联网运营商。从空间维度看，增长最大的是物联网运营商，其次是系统集成商，最小的是RFID和传感器供应商。

短期看，二维码、RFID厂商和SIM卡企业业绩前景更突出，特别是关注从设备商逐渐向系统集成商扩展的企业。主要关注标的有新大陆、东信和平、华工科技、长电科技、远望谷和同方股份。处于上游产业链中的同方股份是涉及物联网产业链最全的公司。它参与RFID芯片生产、封装及应用集成的全线业务。与中国移动重庆分公司战略合作，成立运营公司，公司持股40%，建立面向全国的M2M 软件服务平台，并参与经营和服务。

东信和平也是属于上游产业链中的重要公司之一，它专注于智能卡研发、生产和销售，主要集中在SIM卡、身份识别卡和金融卡，未来单价收益较高的RF-SIM 卡和金融卡的EMV迁移。同时，它在中国移动SIM卡领域市场占有率最高，最近开始进军印度市场。

中期看，系统集成企业业绩会激增。在物联网导入期，应用多处于垂直行业应用阶段，对系统集成的要求并不特别高，RFID厂商可以兼顾。在物联网成长期，由于涉及技术和界面开始增多，专业的系统集成企业需求会突增，但据国联证券分析师熊彩云介绍，此过程需要2-3年。

长期看，物联网运营企业最有潜力。物联网运营商将有一个从无到有的过程，在导入期和成长期的前期，由于下游需求应用较为分散，物联网运营企业的竞争力也难以辨别，投资风险较大，而在5年左右的时间后，子行业里具有较强竞争力的企业也可见端倪，投资风险将逐渐降低，竞争力逐渐显现。

大数据时代用户分类

大数据时代消费者行为特征 当然，影响消费者行为的除经济和文化因素之外，还有很多种影响消费者行为的其他因素。其中，消费者所属群体所表现出来的共同特征，换句话说，个体的或部分的的消费者往往体现出其所属群体的特征，研究不同群体的消费共同特性，更加有利地把握目标消费者具备的个性特征，为企业迎销决策提供依据。 理论上，群体是指一定数量以上的人通过一定的社会关系结合起来进行共同活动而产生相互作用的集体。消费者群体至少可以按照三类群体划分为： 1/ 按照年龄 ●婴幼儿消费群体：年龄范围在0——6周岁，是年龄最小的 消费群体。 ●少年儿童消费群体：年龄范围在6——15岁，这个年龄阶 段的消费者生理上逐渐呈现出第二个发育高峰。 ●青年消费群体：年龄范围在15——30岁左右，这个年龄阶 段的消费群体实际上可分为青年初期和晚期两个时期。 ●中年消费群体：年龄范围在30——60岁，这个年龄阶段的 消费者，心理上已经成熟，有很强的自我意识和自我控制 能力。

●老年消费群体：年龄范围在60岁以上，这个年龄阶段的消 费者在生理和心理上均发生了明显的变化，由此形成了具 有特殊要求的消费者群体。 实际上，目前营销界更加习惯将国内的消费群体按照其出生的所属年代10年为一周期，分为60后群体（指1960年——1969年出生的人群）、70后群体、80后群体、90后群体以及00后青少年群体。 2／按照性别 ●女性消费群体 ●男性消费群体 消费者在消费行为中，女性与男性往往表现出来很大的不同，而当今中国的社会形态中，女性的经济地位、社会地位以及家庭的购买决策方面，女性越来越表现出其巨大的影响力，表现出消费者群体的不同消费特点。 3/ 按照收入水平 ●高收入群体 ●中等收入群体 ●低收入群体

大数据常用的算法

大数据常用的算法（分类、回归分析、聚类、关联规则） 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法，以ART 模型为代表。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。 (6)Web数据挖掘。Web数据挖掘是一项综合性技术，指Web 从文档结构和使用的集合C 中发现隐含的模式P，如果将C看做是输入，P 看做是输出，那么Web 挖掘过程就可以看做是从输入到输出的一个映射过程。 当前越来越多的Web 数据都是以数据流的形式出现的，因此对Web 数据流挖掘就具有很重要的意义。目前常用的Web数据挖掘算法有：PageRank算法，HITS算法以及LOGSOM 算法。这三种算法提到的用户都是笼统的用户，并没有区分用户的个体。目前Web 数据挖掘面临着一些问题，包括：用户的分类问题、网站内容时效性问题，用户在页面停留时间问题，页面的链入与链出数问题等。在Web 技术高速发展的今天，

大数据复习题(答案)

一、单选题 1、大数据的起源是（B）。 A：金融B：互联网C：电信D：公共管理 2、大数据的最明显特点是（B）。 A：数据类型多样 B：数据规模大C：数据价值密度高D：数据处理速度快 3、大数据时代，数据使用的最关键是（D）。 A：数据收集B：数据存储C：数据分析D：数据再利用 4、云计算分层架构不包括（D）。 A: Iaas B: Paas C: Saas D: Yaas 5、大数据技术是由（C）公司首先提出来的。 A：阿里巴巴B：百度C：谷歌D：微软 6、数据的精细化程度是指（C），越细化的数据，价值越高。 A：规模B：活性 C：颗粒度D：关联性 7、数据清洗的方法不包括（C） A：噪声数据清除B：一致性检查C：重复数据记录处理D：缺失值处理 智能手环的应用开发，体现了（C）的数据采集技术的应用。A：网络爬虫B：API接口C：传感器D：统计报表 9、下列关于数掲重组的说法中，错误的是（A）。 A：数据的重新生产和采集B：能使数据焕发新的光芒C：关键在于多源数据的融合和集成 D：有利于新的数据模式创新

10、美国海军军官莫里通过对前人航海日志的分析，绘制考了新的航海路线图，标明了大风与洋流可能发生的地点。这体现了大数据分析理念中的（B）。 A：在数据基础上倾向于全体数据而不是抽样数据 B：在分析方法上更注重相关分析而不是因果分析 C：在分析效果上更追究效率而不是绝对精确 D：在数据规模上强调相对数据而不是绝对数据 11、下列关于含思伯格对大数据特点的说法中，错误的是(D) A：数据规模大B：数据类型多 C：处理速度快D：价值密度高 12、当前社会中，最为突出的大数据环境是（A）A：互联网B：自然环境C：综合国力D：物联网 13、在数据生命周期管理实践中，（B）是执行方法。 A：数据存储和各份规范B：数据管理和维护C：数据价值发觉和利用D：数据应用开发和管理 14、下列关于网络用户行为的说法中，错误的是（C）。 A：网络公司能够捕捉到用户在其网站上的所有行为 B：用户离散的交互痕迹能够为企业提升服务质量提供参 C：数字轨迹用完即自动删除 D：用户的隐私安全很难得以规范保护 15、下列关于聚类挖报技术的说法中，错误的是（B）。 A：不预先设定数据归类类目，完全根据数据本身性质将数据聚合成不同类别 B：要求同类数据的内容相似度尽可能小 C：要求不同类数据的内容相仪度尽可能小

大数据标准体系

附件 1 大数据标准体系 序号一级分类二级分类国家标准编号标准名称状态 1总则信息技术大数据标准化指南暂时空缺2基础标准术语信息技术大数据术语已申报3参考模型信息技术大数据参考模型已申报4GB/T 18142-2000信息技术数据元素值格式记法已发布5GB/T 18391.1-2009信息技术元数据注册系统(MDR) 第 1 部分：框架已发布6GB/T 18391.2-2009信息技术元数据注册系统(MDR) 第 2 部分：分类已发布7数据处理数据整理GB/T 18391.3-2009信息技术元数据注册系统(MDR) 第 3 部分：注册系统元模型与基本属性已发布8GB/T 18391.4-2009信息技术元数据注册系统(MDR) 第 4 部分：数据定义的形成已发布9GB/T 18391.5-2009信息技术元数据注册系统(MDR) 第 5 部分：命名和标识原则已发布10GB/T 18391.6-2009信息技术元数据注册系统(MDR) 第 6 部分：注册已发布

11GB/T 21025-2007XML 使用指南已发布12GB/T 23824.1-2009信息技术实现元数据注册系统内容一致性的规程第 1 部分：数据元已发布13GB/T 23824.3-2009信息技术实现元数据注册系统内容一致性的规程第 3 部分：值域已发布1420051294-T-339信息技术元模型互操作性框架第1部分：参考模型已报批1520051295-T-339信息技术元模型互操作性框架第2部分：核心模型已报批1620051296-T-339信息技术元模型互操作性框架第3部分：本体注册的元模型已报批1720051297-T-339信息技术元模型互操作性框架第4部分：模型映射的元模型已报批1820080046-T-469信息技术元数据模块 (MM) 第 1部分 :框架已报批1920080044-T-469信息技术技术标准及规范文件的元数据已报批2020080045-T-469信息技术通用逻辑基于逻辑的语系的框架已报批2120080485-T-469跨平台的元数据检索、提取与汇交协议已报批22信息技术异构媒体数据统一语义描述已申报23数据分析信息技术大数据分析总体技术要求暂时空缺

大数据分类管理

数据分级管理 第五条根据数据在生产、经营和管理中的重要性，结合有关保密规定，按照集团级应用系统和数据、厂矿级应用系统和数据、区队（车间）级应用系统和数据分别制定管理标准。第六条集团级应用系统和数据，技术管理由集团信息办负责，业务管理由相关业务处室负责，运维管理由信通公司负责。厂矿级应用系统和数据由各单位信息管理部门管理，集团需要利用的管理数据和生产数据要同步上传到集团数据中心。区队（车间）级应用系统和数据由各单位信息管理部门管理和维护。 第五章数据标准管理 第七条集团信息办负责集团数据编码和接口标准的统一规划和标准制定，负责对集团及各单位应用系统的数据标准管理进行引导和考核。各单位新建应用系统应严格执行集团下发的数据编码和接口标准，在用应用系统应根据自身实际逐步按照集团标准进行完善。 第八条数据编码和接口标准应符合以下要求： （一）数据编码应能够保证同一个对象编码的唯一性及上下游管理规范的一致性； （二）接口应实现对外部系统的接入提供企业级的支持，在系统的高并发和大容量的基础上提供安全可靠的接入； （三）提供完善的数据安全机制，以实现对数据的全面保护，保证系统的正常运行，防止大量访问，以及大量占用资源的情况发生，保证系统的健壮性； （四）提供有效的系统可监控机制，使得接口的运行情况可监控，便于及时发现错误并排除故障； （五）保证在充分利用系统资源的前提下，实现系统平滑的移植和扩展，同时在系统并发增加时提供系统资源的动态扩展，以保证系统的稳定性； （六）在进行扩容、新业务扩展时，应能提供快速、方便和准确的实现方式。 第六章数据资源管理 第九条基础设施资源集中管理。为了避免信息机房等基础设施资源重复投资建设，造成资金浪费、设施利用率低等问题，各单位应充分利用集团数据中心资源，集团信息办负责统一协调集团及各单位的基础设施资源。 （一）各单位未经集团批准不得私自新建、改建、扩建信息机房。 （二）集团数据中心要按照《集团机房建设技术规范》建设，满足各单位应用系统及数据统一到集团数据中心所需的各项使用要求。 （三）各单位现有机房自行管理、统一管控。各级信息管理部门作为主要责任部门，要保证信息机房各项运行指标达到集团要求。 第十条计算存储资源集中管理。为了消除“信息孤岛”，实现集团数据共享和集成，提升数据安全防护等级，各单位所需计算和存储资源，要统一使用集团数据中心的云计算资源，做到资源集中、高效利用。 （一）现有的集团级应用系统及数据（安全监测系统除外）、各单位应用系统及数据（直接用于生产安全、自动化控制和监测监控的系统除外）要按照在用服务器、存储的服务年限和系统生命周期科学制定迁移到集团数据中心的计划和方案，并报集团信息办批准后实施。（二）新建应用系统原则上不再购臵新的服务器和存储，所需计算和存储资源应使用集团数据中心的云计算资源。各单位如有特殊生产要求，确需购臵服务器或存储的，需报请集团领导批准，由集团信息办备案后，按集团采购管理相关规定执行。 （三）对于当前集团网络不具备实施条件的单位，可向集团提出申请建设集团区域性数据分中心，并根据建设进度制定应用系统和数据迁移计划。集团区域性数据分中心建成后，新建系统需要集中部署、分级管理。

大数据课程分类

大数据课程： 基础阶段：L i n u x、D o c k e r、K V M、M y S Q L基础、O r a c l e基础、M o n g o D B、r e d i s。 h a d o o p m a p r e d u c e h d f s y a r n：h a d o o p：H a d o o p概念、版本、历史，H D F S工作原理，Y A R N介绍及组件介绍。 大数据存储阶段：h b a s e、h i v e、s q o o p。 大数据架构设计阶段：F l u m e分布式、Z o o k e e p e r、K a f k a。 大数据实时计算阶段：M a h o u t、S p a r k、s t o r m。 大数据数据采集阶段：P y t h o n、S c a l a。 大数据商业实战阶段：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。 大数据之L i n u x+大数据开发篇 J a v a L i n u x基础S h e l l编程H a d o o p2.x H D F S Y A R N M a p R e d u c e E T L数据清洗H i v e S q o o p F l u m e/O o z i e o大数据W E B工具 H u e H B a s e S t o r m S t o r m S c a l a S p a r k S p a r k核心源码剖析C M 5.3.x管理C D H5.3.x集群 大数据之数据挖掘\分析&机器学习篇

L u c e n e爬虫技术S o l r集群K I分词A p r i o r i算法T a n a g r a工具决策树贝叶斯分类器人工神经网络K均值算法层次聚类聚类算法S P S S M o d e l e r R语言数据分析模型统计算法回归聚类数据降维关联规则决策树M a h o u t->P y t h o n金融分析 大数据之运维、云计算平台篇 Z o o k e e p e r D o c k e r O p e n S t a c k云计算 大数据之P B级别性能优化篇 C D N镜像技术虚拟化云计算共享存储海量数据队列缓 存M e m c a c h e d+R e d i s\N o-S q l L V S负载均N g i n x 大数据之J a v a企业级核心技术篇 J a v a性能调优T o m c a t、A p a c h e集群数据库集群技术分布式技术W e b L o g i c企业级技术 阶段一、大数据、云计算-H a d o o p大数据 开发技术 课程一、大数据运维之L i n u x基础

大数据时代题目及答案(三套试题仅供参考)

第一套试题 1、当前大数据技术的基础是由（C）首先提出的。（单选题，本题2分） A：微软 B：百度 C：谷歌 D：阿里巴巴 2、大数据的起源是（C ）。（单选题，本题2分） A：金融 B：电信 C：互联网 D：公共管理 3、根据不同的业务需求来建立数据模型，抽取最有意义的向量，决定选取哪种方法的数据分析角色人员是（C）。（单选题，本题2分） A：数据管理人员 B：数据分析员 C：研究科学家 D：软件开发工程师 4、（D ）反映数据的精细化程度，越细化的数据，价值越高。（单选题，本题2分） A：规模 B：活性 C：关联度 D：颗粒度 5、数据清洗的方法不包括（ D）。（单选题，本题2分） A：缺失值处理 B：噪声数据清除 C：一致性检查 D：重复数据记录处理 6、智能健康手环的应用开发，体现了（ D）的数据采集技术的应用。（单选题，本题2分） A：统计报表 B：网络爬虫 C：API接口 D：传感器 7、下列关于数据重组的说法中，错误的是（A）。（单选题，本题2分） A：数据重组是数据的重新生产和重新采集 B：数据重组能够使数据焕发新的光芒 C：数据重组实现的关键在于多源数据融合和数据集成 D：数据重组有利于实现新颖的数据模式创新8、智慧城市的构建，不包含（ C）。（单选题，本题2分） A：数字城市 B：物联网 C：联网监控 D：云计算 9、大数据的最显著特征是（A）。（单选题，本题2分） A：数据规模大 B：数据类型多样 C：数据处理速度快 D：数据价值密度高10、美国海军军官莫里通过对前人航海日志的分析，绘制了新的航海路线图，标明了大风与洋流可能发生的地点。这体现了大数据分析理念中的（B ）。（单选题，本题2分） A：在数据基础上倾向于全体数据而不是抽样数据 B：在分析方法上更注重相关分析而不是因果分析 C：在分析效果上更追究效率而不是绝对精确 D：在数据规模上强调相对数据而不是绝对数据 11、下列关于舍恩伯格对大数据特点的说法中，错误的是（D）。（单选题，本题2分） A：数据规模大 B：数据类型多样 C：数据处理速度快 D：数据价值密度高12、当前社会中，最为突出的大数据环境是（A）。（单选题，本题2分） A：互联网 B：物联网 C：综合国力 D：自然资源 13、在数据生命周期管理实践中，（ B）是执行方法。（单选题，本题2分） A：数据存储和备份规范 B：数据管理和维护 C：数据价值发觉和利用 D：数据应用开发和管理 14、下列关于网络用户行为的说法中，错误的是（C）。（单选题，本题2分） A：网络公司能够捕捉到用户在其网站上的所有行为 B：用户离散的交互痕迹能够为企业提升服务质量提供参考 C：数字轨迹用完即自动删除 D：用户的隐私安全很难得以规范保护 15、下列关于计算机存储容量单位的说法中，错误的是（ C）。（单选题，本题2分） A：1KB＜1MB＜1GB B：基本单位是字节（Byte） C：一个汉字需要一个字节的存储空间 D：一个字节能够容纳一个英文字符， 16、下列关于聚类挖掘技术的说法中，错误的是（B）。（单选题，本题2分） A：不预先设定数据归类类目，完全根据数据本身性质将数据聚合成不同类别 B：要求同类数据的内容相似度尽可能小

大数据的主体分类

人们在信息时代下随时分享，留下记录，变成数据。通过数据进行分析，从中发现政治治理、文化活动、社会行为、商业发展、身体健康等各个领域的各种信息，进而可以预测未来。 从社会宏观角度根据其使用主体可分为以下三类： 一、政府的大数据 各级政府各个机构拥有海量的原始数据，构成包括形形色色的环保、气象、电力等生活数据，道路交通、自来水、住房等公共数据，安全、海关、旅游等管理数据，教育、医疗、信用及金融等服务数据。在单一部门里面数据没有产生任何价值，如果关联这些数据，综合分析有效管理，这些数据将产生巨大的社会价值和经济效益。大数据是智慧城市的核心资本。到2012年底已经有180个国内城市开始投资建设智慧城市，总的投资规模包括数据平台的投入和通信网络方面的各种基础设施全部加起来大约6000亿元人民币，政府作为国家的管理者应该将数据逐步开放供给更多有能力的机构组织或个人来分析并加以利用以加速造福人类。 二、企业的大数据

企业离不开数据支持有效决策，只有通过数据才能快速发展，实现利润，维护客户，传递价值，支撑规模，增加影响，撬动杠杆，带来差异、服务买家、提高质量，节省成本，扩大吸引，打败对手、开拓市场。企业需要大数据的帮助才能对消费者群体提供差异化的产品或服务，实现精准营销。网络企业应该依靠大数据实现服务升级与方向转型，传统企业同样必须谋求变革实现融合不断前进。 三、个人的大数据 每人都能通过互联网建立属于自己的信息中心，积累、记录、采集、储存个人的一切大数据信息。通过信息技术使得各种可穿戴设备，包括植入的各种芯片都可以通过感知技术获得个人的大数据，包括但不限于体温、心率、视力各类身体数据以及社会关系、地理位置、购物活动等等各类社会数据。个人可以选择将身体数据授权提供给医疗服务机构，以便监测出当前的身体状况，制定私人健康计划；还能把个人金融数据授权给专业的金融理财机构，以便制定相应的理财规划并预测收益。 以上就是全部内容，希望对大家有所帮助，感谢您的阅读！

大数据挖掘常用方法

数据挖掘常用的方法 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法，以ART 模型为代表。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。

大数据下的机器学习

《程序设计方法学》 课程论文 题目：大数据下的机器学习通信与信息工程学院1014010216唐川宗平2014/2015学年第二学期 学 院学 号姓 名指 导老师日期

大数据下的机器学习 摘要：随着产业界数据量的爆炸式增长，大数据概念受到越来越多的关注。由于大数据的海量、复杂多样、变化快的特性，如何有效利用大数据中的信息，并使用这些信息提高生产率成为迫切需要解决的问题。机器学习是解决这类问题的有效方法之一。因此，研究大数据环境下的机器学习算法成为学术界和产业界共同关注的话题。本文旨在对机器学习的一些基本算法和在大数据环境下机器学习大概面临的一些问题进行初步介绍。 关键词：大数据，机器学习，分类，聚类，最优化方法，并行算法 1.大数据时代来临 经过20余年的努力，Internet已获得巨大的成功，由此，人们可以在不同时间与地域获取自己希望获得的信息。然而，有效获得信息是一回事，获得的信息是否能够有效且方便地使用则是另一回事。目前的现状是大量可以有效获得的信息，大约只有10%可以被使用，消耗了大量资源的信息不仅未能够被有效地使用，而且由于有用的信息正在更深地被掩埋在无用信息之中，变得更难以利用。花费了大量人力物力而获得信息，却无法有效使用，长此以往，这将与未获得信息无区别。如何有效利用这些被掩埋的有用信息已成为信息产业继续兴旺发展的关键。 大数据定义：有关大数据的定义有多种。一个狭义的定义：大数据是指不能装载进计算机内存储器的数据。尽管这是一个非正式的定义，但易理解，因为每台电脑都有一个大到不能装载进内存的数据集。广义的大数据定义为：一般意义上，大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。 大数据特点：大数据有多方面的特点，从最开始的3V模型到目前扩展的4V模型就是以大数据的特点命名的。3V模型包括体积(Volume)，速度(Velocity)和多样性(Variety)；4V模型中的第4个V有多种解释，如变化性(Variability)，虚拟化(Virtual)或价值(Value)。针对这些特点，大数据时代知识解析、机器智能与人类智能协调工作及智能分析系统将会扮演重要角色，人们需要一种智能分析接口将人类与计算机世界连接，否则将被

大数据导论复习资料

《大数据导论》课程期末复习资料 《大数据导论》课程讲稿章节目录： 第1章大数据概述 （1）大数据的概念 （2）大数据的特征 （3）大数据的数据类型 （4）大数据的技术 （5）大数据的应用 第2章大数据采集与预处理 （1）大数据采集 （2）大数据预处理概述 （3）数据清洗 （4）数据集成 （5）数据变换 （6）数据规约 第3章大数据存储 （1）大数据存储概述 （2）数据存储介质 （3）存储系统结构 （4）云存储概述 （5）云存储技术 （6）新型数据存储系统 （7）数据仓库 第4章大数据计算平台 （1）云计算概述 （2）云计算平台 （3）MapReduce平台 （4）Hadoop平台 （5）Spark平台 第5章大数据分析与挖掘 （1）大数据分析概述 （2）大数据分析的类型及架构 （3）大数据挖掘 （4）大数据关联分析 （5）大数据分类 （6）大数据聚类 （7）大数据分析工具 第6章大数据可视化 （1）大数据可视化概述 （2）大数据可视化方法 （3）大数据可视化工具 第7章社交大数据

（1）社交大数据 （2）国内社交网络大数据的应用 （3）国外社交网络大数据的应用 第8章交通大数据 （1）交通大数据概述 （2）交通监测应用 （3）预测人类移动行为应用 第9章医疗大数据 （1）医疗大数据简介 （2）临床决策分析应用 （3）医疗数据系统分析 第10章大数据的挑战与发展趋势 （1）大数据发展面临的挑战 （2）大数据的发展趋势 一、客观部分：（单项选择、多项选择） （一）、单项选择 1.以下不是NoSQL数据库的是（） ★考核知识点:NoSQL与NewSQL主流系统 参考讲稿章节： 附（考核知识点解释）： 目前市场上主要的NoSQL数据存储工具有：BigTable、Dynamo 、Hbase、MongoDB、CouchDB、Hypertable 还存在一些其他的开源的NoSQL数据库，Neo4j、Oracle Berkeley DB、Apache Cassandra等 另外，NewSQL数据库。例如：GoogleSpanner、VoltDB、RethinkDB、Clustrix、TokuDB和MemSQL等。 2以下不是目前主流开源分布式计算系统的是（）

常见的9种大数据分析方法

常见的9种大数据分析方法 数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式： 1. 分类 分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。 2. 回归 回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。 3. 聚类 聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。 数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。 4. 相似匹配 相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会

用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。 5. 频繁项集 频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。 6. 统计描述 统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。 7. 链接预测 链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。 8. 数据压缩 数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据

大数据的概念、特征及其应用

马建光等：大数据的概念、特征及其应用 (2013-09-05 16:15:35) 转载 分类：学习资料 标签： 杂谈 大数据的概念、特征及其应用 马建光，姜巍 (国防科技大学人文与社会科学学院，湖南长沙410074) 源自：国防科技2013年4月 ［摘要］随着互联网的飞速发展，特别是近年来随着社交网络、物联网、云计算以及多种传感器的广泛应用，以数量庞大，种类众多，时效性强为特征的非结构化数据不断涌现，数据的重要性愈发凸显，传统的数据存储、分析技术难以实时处理大量的非结构化信息，大数据的概念应运而生。如何获取、聚集、分析大数据成为广泛关注的热点问题。介绍大数据的概念与特点，分别讨论大数据的典型的特征，分析大数据要解决的相关性分析、实时处理等核心问题，最后讨论大数据可能要面临的多种挑战。 ［关键词］大数据;非结构化信息;解决核心问题;未来挑战 一、引言 自上古时代的结绳记事起，人类就开始用数据来表征自然和社会，伴随着科技和社会的发展进步，数据的数量不断增多，质量不断提高。工业革命以来，人类更加注重数据的作用，不同的行业先后确定了数据标准，并积累了大量的结构化数据，计算机和网络的兴起，大量数据分析、查询、处理技术的出现使得高效的处理大量的传统结构化数据成为可能。而近年来，随着互联网的快速

发展，音频、文字、图片视频等半结构化、非结构化数据大量涌现，社交网络、物联网、云计算广泛应用，使得个人可以更加准确快捷的发布、获取数据。在科学研究、互联网应用、电子商务等诸多应用领域，数据规模、数据种类正在以极快的速度增长，大数据时代已悄然降临。 首先，全球数据量出现爆炸式增长，数据成了当今社会增长最快的资源之一。根据国际数据公司IDC的监测统计［1］，即使在遭遇金融危机的2009年，全球信息量也比2008年增长了62%，达到80万PB ( 1PB等于10亿GB)，到2011年全球数据总量已经达到1. 8ZB ( 1ZB等于1万亿GB，)，并且以每两年翻一番的速度飞速增长，预计到2020年全球数据量总量将达到40 ZB，10年间增长20倍以上，到2020年，地球上人均数据预计将达5247GB。在数据规模急剧增长的同时，数据类型也越来越复杂，包括结构化数据、半结构化数据、非结构化数据等多种类型，其中采用传统数据处理手段难以处理的非结构化数据已接近数据总量的75%。 如此增长迅速、庞大繁杂的数据资源，给传统的数据分析、处理技术带来了巨大的挑战。为了应对这样的新任务，与大数据相关的大数据技术、大数据工程、大数据科学和大数据应用等迅速成为信息科学领域的热点问题，得到了一些国家政府部门、经济领域以及科学领域有关专家的广泛关注。2012年3月22日，奥巴马宣布美国政府五大部门投资2亿美元启动“大数据研究和发展计划( Big Data Research and Development Initiative)”［2］，欲大力推动大数据相关的收集、储存、保留、管理、分析和共享海量数据技术研究，以提高美国的科研、教育与国家安全能力。这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署，美国政府认为大数据是未来信息时代的重要资源，

大数据常见的9种数据分析手段

大数据常见的9种数据分析手段 大数据常见的9种数据分析手段数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：1. 分类分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。2. 回归回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。3. 聚类聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。4. 相似匹配相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多

不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。5. 频繁项集频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。6. 统计描述统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。7. 链接预测链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。 8. 数据压缩数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压

大数据时代用户个人信息保护策略：分级分类保护

大数据时代用户个人信息保护策略：分级分类保护

大数据时代用户个人信息保护策略：分级分类保护 “棱镜门”事件暴露出了用户网络行为可以被实时监控的现实。除却国家行为，互联网服务提供者跟踪、分析用户行踪的事 件也是此起彼伏。网易邮箱挂马事件、安卓应用隐私泄露问题、快递员售卖快递单事 件，不断刺激着广大用户脆弱的神经。互联 网进入大数据时代后，个人信息对于互联网 服务提供者而言具备了更多的商业价值，同 时也面临着更大的安全威胁。大数据时代如 何保护用户个人信息，是不得不解决的关系 网络发展基础的问题。保护用户个人信息，必须立足互联网业务发展现实。对用户个人 信息采用分级分类保护，是解决大数据时代 用户个人信息保护的一种有效方法。 一、大数据时代用户个人信息商业价值 进一步凸显 用户个人信息构成大数据的重要源泉。 智能手机和可穿戴式设备的普及，个人的位

置、行为，甚至生理变化，都成为可被实时记录并分析的数据资源。同时，社交网络兴起，发表和分享信息成为重要的网络活动，用户成为互联网上各类信息的生产者。 大数据商业应用深挖用户个人信息潜在价值。大数据在商业领域的典型应用体现为通过对用户行为的精准分析，提升用户体验，增强用户黏性，开展个性化营销。区分个体变得十分重要，对一定规模的关联信息的聚合分析可以还原并预测用户生活全貌，为个性化业务提供数据支撑。互联网通过后向收费模式，将个人信息转化为商业链的价值节点之一。 技术发展为挖掘用户个人信息潜在价值提供条件。获取和存储成本的降低，使大规模信息的聚集变成可能。数据挖掘和数据分析技术，为用户个人信息二次开发提供了机会和条件，信息的潜在价值得到释放。 实践中，拥有丰富个人信息资源的社

大数据时代用户个人信息保护策略：分级分类保护

大数据时代用户个人信息保护策略：分级分类保护“棱镜门”事件暴露出了用户网络行为可以被实时监控的现实。除却国家行为，互联网服务提供者跟踪、分析用户行踪的事件也是此起彼伏。网易邮箱挂马事件、安卓应用隐私泄露问题、快递员售卖快递单事件，不断刺激着广大用户脆弱的神经。互联网进入大数据时代后，个人信息对于互联网服务提供者而言具备了更多的商业价值，同时也面临着更大的安全威胁。大数据时代如何保护用户个人信息，是不得不解决的关系网络发展基础的问题。保护用户个人信息，必须立足互联网业务发展现实。对用户个人信息采用分级分类保护，是解决大数据时代用户个人信息保护的一种有效方法。 一、大数据时代用户个人信息商业价值进一步凸显 用户个人信息构成大数据的重要源泉。智能手机和可穿戴式设备的普及，个人的位置、行为，甚至生理变化，都成为可被实时记录并分析的数据资源。同时，社交网络兴起，发表和分享信息成为重要的网络活动，用户成为互联网上各类信息的生产者。 大数据商业应用深挖用户个人信息潜在价值。大数据在商业领域的典型应用体现为通过对用户行为的精准分析，提升用户体验，增强用户黏性，开展个性化营销。区分个体变

得十分重要，对一定规模的关联信息的聚合分析可以还原并预测用户生活全貌，为个性化业务提供数据支撑。互联网通过后向收费模式，将个人信息转化为商业链的价值节点之一。 技术发展为挖掘用户个人信息潜在价值提供条件。获取和存储成本的降低，使大规模信息的聚集变成可能。数据挖掘和数据分析技术，为用户个人信息二次开发提供了机会和条件，信息的潜在价值得到释放。 实践中，拥有丰富个人信息资源的社交、电商公司纷纷通过挖掘信息价值，创新自身业务模式，并向第三方开放相关数据，提供数据支撑。淘宝数据魔方、百度游戏营销平台等，均通过对用户行为的分析，建立用户行为数据库，向平台上的第三方输出数据，提供决策支持。 二、大数据引发用户个人信息安全新挑战 大数据加大了用户个人信息安全风险。在互联网时代，我们已经意识到用户个人信息的价值与安全成反比。用户个人信息的潜在价值不断刺激着人们收集、使用的欲望，巨大的经济利益催生地下产业链非法牟利，严重威胁用户个人信息安全。 互联网业务创新与用户个人信息保护之间的矛盾激化。互联网服务提供者希望获取大量用户个人信息，而用户则避

大数据架构和模式(一)大数据分类和架构简介

大数据架构和模式（一）大数据分类和架构简介 摘要：大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得很困难。以下操作是一个良好的开端：依据必须处理的数据的格式、要应用的分析类型、使用的处理技术，以及目标系统需要获取、加载、处理、分析和存储数据的数据源，对大数据问题进行分类。 相关文章： 大数据架构和模式（二）——如何知道一个大数据解决方案是否适合您的组织 大数据架构和模式（三）——理解大数据解决方案的架构层 大数据架构和模式（四）——了解用于大数据解决方案的原子模式和复合模式 大数据架构和模式（五）——对大数据问题应用解决方案模式并选择实现它的产品 概述 大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。 这个“大数据架构和模式”系列提供了一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据问题很重要，所以我们包含了一些线索来帮助确定哪些业务问题适合采用大数据解决方案。

从分类大数据到选择大数据解决方案 如果您花时间研究过大数据解决方案，那么您一定知道它不是一个简单的任务。本系列将介绍查找满足您需求的大数据解决方案所涉及的主要步骤。 我们首先介绍术语“大数据”所描述的数据类型。为了简化各种大数据类型的复杂性，我们依据各种参数对大数据进行了分类，为任何大数据解决方案中涉及的各层和高级组件提供一个逻辑架构。接下来，我们通过定义原子和复合分类模式，提出一种结构来分类大数据业务问题。这些模式有助于确定要应用的合适的解决方案模式。我们提供了来自各行各业的示例业务问题。最后，对于每个组件和模式，我们给出了提供了相关功能的产品。 第 1 部分将介绍如何对大数据进行分类。本系列的后续文章将介绍以下主题： ?定义大数据解决方案的各层和组件的逻辑架构 ?理解大数据解决方案的原子模式 ?理解用于大数据解决方案的复合（或混合）模式 ?为大数据解决方案选择一种解决方案模式 ?确定使用一个大数据解决方案解决一个业务问题的可行性 ?选择正确的产品来实现大数据解决方案 依据大数据类型对业务问题进行分类 业务问题可分类为不同的大数据问题类型。以后，我们将使用此类型确定合适的分类模式（原子或复合）和合适的大数据解决方案。但第一步是将业务问题