阿里研究中心：大数据时代

The Age of Big Data 大数据时代
张文涛/酒已

内容
? ? ? ?
什么是大数据 相关技术 大数据的来“缘”和影响 发展动态及方向
3/13/2012
2

什么是大数据
3/13/2012
3

3/13/2012
4

3/13/2012
5

何为大？—数据度量
1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes
3/13/2012 6

《红楼梦》含标点87万字（不含标点853509字） 每个汉字占两个字节：1汉字=16bit = 2*8位=2bytes 1GB 约等于 671部红楼梦 1TB 约等于 631,903 部 1PB 约等于 647,068,911部 美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB ） 中国国家图书馆：2631万册 1EB = 4000倍 4000倍 美国国会图书馆存储的信息量 美国国会图书馆存储的信息量 600美元的硬盘就可以存储全世界所有的歌曲 600美元的硬盘就可以存储全世界所有的歌曲 MGI估计 MGI估计, 估计,全球企业 2010 年在硬盘上存储了超过 7EB(1EB 等于 10 亿 GB) 的新数据, 的新数据,同时, 同时,消费者在 PC 和笔记本等设备上存储了超过 6EB 新数据
3/13/2012 7

大数据
?
大数据 4V
o
大量（Volume）
? 存储大； ? 计算量大；
o
多样（Variety）
? 来源多； ? 格式多；
o
快速（Velocity）
? 增长速度快 ? 处理速度要求快
o
价值（Value）
? 浪里淘沙却又弥足珍贵 数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务
3/13/2012 8

大数据
?
大数据与云计算
o o o
云计算的模式是业务模式，本质是数据处理技术。（肉体+灵魂） 数据是资产，云为数据资产提供存储、访问和计算。 盘活资产，使其为国家治理、企业决策、个人生活服务，是大数据核心议 题，也是云计算的最终方向
?
海量数据： 两个V（volume和value）
3/13/2012
9

数据来源
? ? ? ?
互联网企业：SNS、微博、视频网站、电子商务网站 物联网、移动设备、终端中的商品、个人位置、传感器采集的数据 联通、移动、电信等通信和互联网运营商 天文望远镜拍摄的图像、视频数据、气象学里面的卫星云图数据等
3/13/2012
10

大数据相关技术
3/13/2012
11

大数据相关技术
?
分析技术
o o o o
数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等
?
大数据技术
o o o o
3/13/2012
12

大数据相关技术
?
存储
o
结构化数据： 非结构化数据
? 海量数据的查询、统计、更新等操作效率低 ? 图片、视频、word、pdf、ppt等文件存储 ? 不利于检索、查询和存储 ? 转换为结构化存储 ? 按照非结构化存储
o
o
半结构化数据
?
存储问题解决方案
o
在CAP理论指导下数据库技术适当“退化”
? NoSQL技术： HDFS, HBASE, OceanBase, MongoDB等
13
3/13/2012

大数据相关技术
?
计算
o o
因结构变化为导致计算模式变更 需求模式变化带来的计算碰到瓶颈
?
解决方案
o o
Hadoop（MapReduce技术） 流计算（twitter的storm和yahoo！的S4）
3/13/2012
14

大数据的来“缘”和影响
3/13/2012
15

从互联网社会化拉开序幕
?
YouTube、 twitter、FaceBook、微博等社交网站出现
o
海量的视频、图片、文本、短消息以及社会间关系信息数据需求出现
3/13/2012
16

跟随互联网的演进
? ?
互联网需要更好的理解“消费者”的需求 消费者也反作用于互联网
3/13/2012
17

Google的精准化理解用户需求
? ?
通过免费软件及服务来更精确的理解用户行为和习惯 通过对用户的更精确理解来提供精确广告服务
3/13/2012
18

传统企业之殇
? ? ?
服装企业调查顾客对商品的购买意愿 任正非《让听得见炮火的人来决策》 张瑞敏：“一个型号几百万产量”到“几十万个型号”
3/13/2012
19

对软件开发和信息化
? ? ? ? ?
传统软件开发流程 敏捷开发（快速演进） 互联网企业面向海量用户群建立自己的生态圈，吸引用户 企业信息化不只是订单系统上线，订单处理也需自动化跟上 通过分析师对一系列的数据、行为的分析后才能得到用户需求 等等
20
3/13/2012

阿里云大数据解决方案

阿里云大数据解决方案 阿里云“数加平台”提供了大量的大数据产品，包括大数据基础服务、数据分析及展现、数据应用、人工智能等产品与服务。这些产品均依托于阿里云生态，在阿里内部经历过锤炼和业务验证，可以帮助组织迅速搭建自己的大数据应用及平台。 奥远电子作为阿里云辽宁区授权服务中心，可为用户提供专业、高效和本地化的服务，包括运维、产品咨询、备案咨询、解决方案和架构搭建等一体化等，同时旨在帮助本地政府部门和企事业单位、个人了解云计算，使用阿里云服务，为用户提供网络、服务和计算资源等，从而减轻用户因业务量骤增而带来的IT压力，助力轻松上云。 基础产品： 大数据计算服务（MaxCompute，原名ODPS） 是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。MaxCompute为您提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决海量数据计算问题，有效降低企业成本，并保障数据安全。 分析性数据库（AnalyticDB） 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。分析型数据库对海量数据的自由计算和极速响应能力，能让用户在瞬息之间进行灵活的数据探索，快速发现数据价值，并可直接嵌入业务系统为终端客户提供分析服务。 数据集成（Data Integration） 是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20+种数据源提供不同网络环境下的离线(全量/增量)数据进出通道。 核心解决方案介绍： （一）个性化推荐 根据用户的兴趣特点和购买行为，推荐用户感兴趣的信息和商品。建立在海量数据挖掘基础之上，为用户提供完全个性化的决策支持和信息服务。 业务需求： 1.研发成本高：对于一些中小企业，想做自己的个性化推荐业务，但是不知道如何收集数据，而且搭建和使用算法的成本较高，需要算法团队、算法框架等。 2.推荐效果差：很多时候是企业积累了很多用户数据、用户行为数据，在此基础上尝试做了个性化推荐，但是推荐效果并不好，没有带来实际转化率的提升 3.不断提升效果：为了提升用户粘性和用户留存，需要从各维度进行对比，使用A/B test来确定不同算法的效果，以进一步提升转化率。 典型应用场景： 1.视频网站：短视频推荐通过对视频内容进行分析和特征抽取，向您的用户提供个性化的视频推荐。 2.2.电商网站：电商推荐针对不同偏好的用户提供个性化的商品推荐，新注册的用户和商品上新也能够享受到实时推荐，助力您的企业提升销售额。

阿里大数据计算服务MaxCompute-DataHub服务

大数据计算服务MaxCompute Datahub服务

Datahub服务 MaxCompute DataHub Service(DHS)是一个 MaxCompute 的内建服务，使用RESTful接口向用户提供实时数据的发布(Publish)和订阅(Subscribe)的功能。用户可以将数据记录(Record)，通过DHS的某个"数据通道"(Shard)写入到 MaxCompute 的表中，数据通道的数量由用户指定。写入成功后，用户可以通过订阅接口实时读到写入的数据。由于不用创建 MaxCompute 任务(Task)， DHS可以提供给用户较高的QPS(Query Per Second)和较大的吞吐量。 备注：目前 DataHub 已处于维护状态，不再接入新用户。后续 DataHub 会成为一款阿里云的独立产品，相关信息请关注阿里云官方通告。 DHS上可订阅的数据仅会被保存7天，但所有的数据会被系统自动增量复制到 MaxCompute 表中，参与后续的离线作业计算。 如下图所示，我们对DHS的工作流程做简要介绍： 用户将需要上传的数据放入pack中，并指定将这个pack中的数据通过某一路通道(Shard)上传至DHS。请注意，同一个pack中的记录必须属于同一个表分区(partition)。在DHS中，同一个Shard下数据按照上传时间严格有序，且有可能会包含不同Partition的数据。在上图示例中，相同颜色的pack表示partition值相同。 DHS上的在线数据会被增量复制到 MaxCompute 的离线数据中。目前，离线数据仅供离线作业处理，用户可以通过DHS提供的接口检查DHS到 MaxCompute 的数据同步状态。

阿里云-大数据计算服务详细文档

大数据计算服务使用文档 1.新建项目 新建项目big_testdata1 2.添加成员 一个项目下可以添加多个成员，在这里我们添加一个成员是“悠闲地小蜗牛” 3.角色授权 新建一个项目后，会默认创建一个admin角色，该角色具有操作项目和表的所有权限，在这里我们新创建一个角色test1，给角色赋予项目的权限和表的权限，再把角色test1赋予给用户“悠闲地小蜗牛”

4.新建表 新建表tbl1 下面我们用成员“悠闲地小蜗牛”来操作项目和表 用成员“悠闲地小蜗牛”账号登录大数据计算服务，这时在项目列表下看不到刚才我创建的big_testdata1项目。 这时我们用客户端来登录，下载客户端，下载好后解压，解压后如下图所示： 在conf文件夹中有odps_config.ini文件。编辑此文件 odps_config.ini文件内容为：

修改好配置文件后运行bin目录下的odps(在Linux系统下是./bin/odpscmd，Windows下运行./bin/odpscmd.bat) 打开后界面如下： 用项目下的成员“悠闲地小蜗牛”来执行以下代码： create table tbl2(id bigint); insert overwrite table tbl1 select count(*) from tbl1; select'welcome to MaxCompute!'from tbl1;

提示没有这个CreateInstance权限，这时我们回到大数据计算服务给“悠闲地小蜗牛”添加 CreateInstance，CreateTable权限 责任人“悠闲地小蜗牛”创建表tbl2成功 我们给表tbl1添加权限，alert、select、update

百度、阿里、腾讯三巨头开挖大数据

百度、阿里、腾讯三巨头开挖大数据 概念、模式、理论很重要，但在最具实干精神的互联网领域，行动才是最好的答案。国内互联网三巨头BAT坐拥数据金矿，已陆续踏上了大数据掘金之路。 BAT都是大矿主，但矿山性质不同 数据如同蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。 百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据。 阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。 腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

下面，就将三家公司的情况一一扫描与分析。 一、百度：含着数据出生且拥有挖掘技术，研究和实用结合 搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析，通过语义分析对搜索需求的精准理解进而从海量数据中找准结果，以及精准的搜索引擎关键字广告，实质上就是一个数据的获取、组织、分析和挖掘的过程。 除了网页外，百度还通过阿拉丁计划吸收第三方数据，通过业务手段与药监局等部门合作拿到封闭的数据。但是，尽管百度拥有核心技术和数据矿山，却还没有发挥出最大潜力。百度指数、百度统计等产品算是对数据挖掘的一些初级应用，与Google相比，百度在社交数据、实时数据的收集和由数据流通到数据挖掘转换上有很大潜力，还有很多事情要做。

阿里云大数据专业认证(ACP级)-样题-0209

阿里云培训与认证 阿里云大数据专业认证（ACP级）－考试样题 阿里云大数据专业认证（ACP级）考试样题 一.单选题 1.阿里云大数据计算服务（MaxCompute，原ODPS）是阿里巴巴自主研发的海量 数据处理平台，主要服务于批量结构化数据的存储和计算。以下哪个场景不适合使用大数据计算服务实现？ a)在线交易系统 b)数据仓库 c)大数据的分析建模 d)网站日志离线分析 2.阿里云大数据计算服务（MaxCompute，原ODPS）中的表 event 是分区表，分 区键是 dt （类型为string），每天生成一个分区，现在表中有 dt='20160101' 至 dt='20160531' 共5个月的数据，为了统计3月份 eventid 非空的数据量，开发人员运行了以下语句： select count(*) from event where substr(dt,1,6)='201603' and eventid is not null; 对此任务的描述正确的是 ________。 a)此任务需要读event表中所有分区中的数据 b)此任务只需要读event表中dt='20160301' 至dt='20160331'共31个分区中 的数据 c)此任务会读event表中所有分区中eventid非空的数据 d)此任务只需要读event表中dt='20160301' 至dt='20160331'共31个分区中 eventid非空的数据 3.某信贷公司推出一款线上贷产品，采用阿里云的数据处理技术，通过对会员的历史 数据进行分析，包括交易量、网上信用评价、企业自身经营状况等等，每天处理的数据量在20P左右，基于这些数据对用户信用进行聚类分析建模并产生预测数 据，用户线上申请贷款时，能在1秒钟内根据用户模型预测结果得到该用户的资质评估、授信等信息。请根据您对阿里云产品的理解判断，下述方案中成本最低、性能最好的一个是________。 a)使用阿里云大数据计算服务（MaxCompute，原ODPS）对数据进行建模，然 后使用该模型对所有符合贷款条件的会员进行资质评估和授信评估，将处理结 果保存在MaxCompute中 b)使用阿里云大数据计算服务（MaxCompute，原ODPS）对数据进行建模，然 后使用该模型对所有符合贷款条件的会员进行资质评估和授信评估，将处理结 果保存在阿里云表格存储（Table Store，原OTS）中,以供实现快速查询 c)使用阿里云分析型数据库（Analytic DB，原ADS）对数据进行建模，然后使用 该模型对所有符合贷款条件的会员进行资质评估和授信评估，将处理结果保存 在Analytic DB中

2017届湖北省赤壁市九年级下学期第一次模拟（调研）考试语文试卷

2017届湖北省赤壁市九年级下学期第一次模拟（调 研）考试语文试卷 学校_________ 班级__________ 姓名__________ 学号__________ 一、选择题 1. 下列各组词语中，加点字的注音有误的一项是（） A．栖息（qī）镂空(lòu)窥视(kuī)无动于衷 (zhōng) B．冗杂(rǒng)滑稽(jī)轻蔑(miè)相形见绌(chù) C．阔绰(chuò)羸弱(léi)执拗(niù)鳞次栉比 (zhì) D．拮据(jù)忌讳(huì)酝酿(niàng)随声附和(hè) 2. 下列词语中，书写有误的一项是（） A．惆怅狼藉缄默淋漓尽致 B．深邃亵渎喑哑通霄达旦 C．荫庇虔信禁锢恪尽职守 D．鞭挞秕谷沉湎人声鼎沸 3. 下列句中加点成语使用不恰当的一项是( ) A．以梅花装饰南京花神庙地铁站主题墙，这一别具匠心的设计，深受好评。B．凭借雄厚的经济实力和深厚的文化底蕴，南京当之无愧地获得青奥会主办权。 C．对于重要的书，我们必须常常反复阅读，每读一次都会觉得开卷有益。D．在暑期社会实践活动中，同学们既体验到合作之趣，又享受了天伦之乐。 4. 下列语句，有语病的一项是（） A．深秋的雪峰山，是人们欣赏雪峰红叶、登高远眺的好时候。 B．教育工作者要善于引导学生用美的眼光去看世界，用美的心灵去感受世界。C．透过这些文化景点，人们可以品味出赤壁城不同寻常的风韵。 D．由浙江卫视推出的大型户外竞技真人秀节目《奔跑吧兄弟》，除了在轻松幽默的游戏中让观众感受愉悦和兴奋之外，还传递出了积极向上的正能量。 5. 关于文学常识和名著阅读的表述不正确的一项是（） A．《海燕》运用象征手法，创造出“海燕”的艺术形象，为无产阶级唱出了一曲充满战斗激情的颂歌。