京东金融大数据分析平台总体架构

大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录

目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)

1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释

2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。

3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。

技术架构解析大数作者：匿名出处：论2016-01-22 20:46大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。 一、大数据建设思路 1)数据的获得 大数据产生的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据，这种数据的产生方式是自动的。因此在数据收集方面，要对来自网络包括物联网、社交网络和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。 2)数据的汇集和存储 数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。数据存储要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。 3)数据的管理 大数据管理的技术也层出不穷。在众多技术中，有6种数据管理技术普遍被关注，即分布式存储与计算、内存数据库技术、列式数据库技术、云数据库、非关系型的数据库、移动数据库技术。其中分布式存储与计算受关注度最高。上图是一个图书数据管理系统。 4)数据的分析 数据分析处理：有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。大数据的处理类型很多，主要的处理模式可以分为流处理和批处理两种。批处理是先存储后处理，而流处理则是直接处理数据。挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。 5)大数据的价值：决策支持系统 大数据的神奇之处就是通过对过去和现在的数据进行分析，它能够精确预测未来;通过对组织内部的和外部的数据整合，它能够洞察事物之间的相关关系;通过对海量数据的挖掘，它能够代替人脑，承担起企业和社会管理的职责。 6)数据的使用 大数据有三层内涵：一是数据量巨大、来源多样和类型多样的数据集;二是新型的数据处理和分三是运用数据分析形成价值。大数据对科学研究、经济建设、社会发展和文化生活等各个领;析技术 域正在产生革命性的影响。大数据应用的关键，也是其必要条件，就在于?屔与经营的融合，当然，这里的经营的内涵可以非常广泛，小至一个零售门店的经营，大至一个城市的经营。 二、大数据基本架构 基于上述大数据的特征，通过传统IT技术存储和处理大数据成本高昂。一个企业要大力发展大数据应用首先需要解决两个问题：一是低成本、快速地对海量、多类别的数据进行抽取和存储;二是使用新的技术对数据进行分析和挖掘，为企业创造价值。因此，大数据的存储和处理与云计算技术密不可分，在当前的技

金融大数据服务平台项目规划书 北京XXXX技术有限公司 研发中心 2014年11月

一. 项目介绍 1.1项目背景 银行业一直是一个数据驱动的行业，数据也一直是银行信息化的主题词。银行的信息化进程先后经历过业务电子化、数据集中化、管理模型化等阶段，如今随着大数据技术的飞速发展，银行信息化也进入了新的阶段：大数据时代。 目前，国内银行都积累了海量的金融数据，包括各类结构化、半结构化、非结构化数据，数据量巨大，存储方式多样。但是这些海量数据还没得到充分利用，显得价值含量较低。只有经过合适的预处理、模型设计、分析挖掘后，才能发现隐藏在其中的潜在规律。而应用大数据分析技术，可以从海量的、不完全一致的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。银行可以利用这些信息和知识来提升金融业务的服务效率和管理水平，银行的关键业务也能从中获得巨大收益。 银行在大数据技术应用方面具有天然优势：一方面，银行在业务开展过程中积累了大量有价值数据，这些数据在运用大数据技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技术。建立“金融大数据服务平台”，可以通过对金融数据的挖掘、分析，创造数据增值价值，提供针对银行的精准营销、统一广告发布、业务体验优化、客户综合管理、风险控制等多种金融服务。 1.2业务需求 目前，银行客户对数据的利用仍是以各类统计报表为主，存在以下重大弊端： 1.对数据的分析仅按照固定项目，对业务情况进行事后统计分析和监控。实际上没有 找到隐藏在数据背后的原因，数据深度分析和数据挖掘能力不足。 2.对数据的分析仅作为专项的统计分析结果输出，对于数据间的因果影响、相关性分 组或关联规则、聚类、描述和可视化等工作尚未开展，数据关联分析能力不足。 3.统计分析侧重在事后的数据汇总，难以从数据汇总中得到客户服务事件发生的规 律，以及前瞻性判断，数据的预测性分析能力不足。

1.技术实现框架 1.1大数据平台架构 1.1.1大数据库是未来提升业务能力的关键要素 以“大数据”为主导的新一波信息化浪潮正席卷全球，成为全球围加速企业技术创新、推动政府职能转变、引领社会管理变革的利器。目前，大数据技术已经从技术研究步入落地实施阶段，数据资源成为未来业务的关键因素。通过采集和分析数据，我们可以获知事物背后的原因，优化生产/生活方式，预知未来的发展动态。 经过多年的信息化建设，省地税已经积累了丰富的数据资源，为下一步的优化业务、提升管理水平，奠定了坚实的基础。 未来的数据和业务应用趋势，大数据才能解决这些问题。 《1.巨杉软件SequoiaDB产品和案例介绍 v2》P12 “银行的大数据资产和应用“，说明税务数据和业务分析，需要用大数据解决。 《1.巨杉软件SequoiaDB产品和案例介绍 v2》P14 “大数据与传统数据处理”，说明处理模式的差异。 1.1.2大数据平台总体框架 大数据平台总体技术框架分为数据源层、数据接口层、平台架构层、分析工具层和业务应用层。如下图所示：

（此图要修改，北明） 数据源层：包括各业务系统、服务系统以及社会其它单位的结构化数据和非结构化数据； 数据接口层：是原始数据进入大数据库的入口，针对不同类型的数据，需要有针对性地开发接口，进行数据的缓冲、预处理等操作； 平台架构层：基于大数据系统存储各类数据，进行处理？； 分析工具层：提供各种数据分析工具，例如：建模工具、报表开发、数据分析、数据挖掘、可视化展现等工具； 业务应用层：根据应用领域和业务需求，建立分析模型，使用分析工具，发现获知事物背后的原因，预知未来的发展趋势，提出优化业务的方法。例如，寻找服务资源的最佳配置方案、发现业务流程中的短板进行优化等。 1.1.3大数据平台产品选型 针对业务需求，我们选择巨杉数据库作为大数据基础平台。

大数据支持京东：破译“千人千面” 用户画像背后需要有复杂的大数据模型的支撑。高水平的大数据平台，不仅仅在于数据量的积累，更重要的是背后的分析模型。 当京东的客服接线员刚刚拿起电话的时候，他就已经能够掌握到打进电话的用户的情绪状态，性格和心理，能够提前做好准备来应对，为用户更好地服务，这不是在假设，京东正在朝着这样的服务迈进，而帮助京东向此迈进的，是背后强大的大数据平台。 “千人千面”的背后是大数据的支持 “千人千面”是互联网时代到来以后，尤其是大数据催使商家提供个性化定制服务之后，各大电商都在追求的目标。过去的这几年，是3C产品（Computer,Communication, Consumer Electronics）的更新迭代是最频繁的几年，这为曾经专注于3C产品的京东赚足了眼球，也赢得了体量庞大的用户数量。 “基于大数据分析的‘用户画像’技术，一直以来都是京东大数据部门的重点研究方向。”京东大数据事业部总经理王晓介绍说。与其他的平台型电子商务平台区别的是，京东拥有电子商务全过程价值链的用户数据。“这样的全过程价值链数据质量是比较高的。”王晓介绍，所谓全过程价值链的用户数据，是指包括浏览、交易、客服、配送和物流等所有有关数据都可以引入用户画像的建模过程，这样一来可以精确描绘用户的全方位特征。“京东目前已经设立了300多个标签，用来定义用户的特征，覆盖用户基本属性、购买能力、行为特征、社交特征、心理特征、兴趣偏好等多个方面。”王晓说。“‘千人千面’在我的理解中就是在大数据的指导下，网站对用户提供个性化的精准营销的重要方法，京东历来都十分重视用户体验，其实这背后的重点还是用户画像技术。”针对为不同行为习惯和兴趣爱好，在标签定向中已经显示出有明确差异的用户，京东采用的是差异化的投放营销方式。王晓介绍，用户画像使得搜索、推荐、广告等营销系统能更加智能地服务用户，同一个搜索词在不同用户不同时刻搜索时，可能有完全不同的购物意图，针对用户的属性特征、性格特点或行为习惯，结合用户行为的上下文分析，陈列或推荐符合该用户偏好的商品，也能很大程度上提高用户购买转化率和重复购买率。 用户画像背后需要有复杂的大数据模型的支撑。高水平的大数据平台，不仅仅在于数据量的积累，更重要的是背后的分析模型。早在2013年下半年，京东的一位大数据研发高层在接受媒体访问时曾这样说：“符合以下两点要求的数据，才能被称之为大数据：第一就是体量要足够大，一般认为BI(Business Intelligence)无法处理的数据才能叫大数据；第二就是数据

医疗大数据分析应用平台产品解决方案 （初稿） 本应用平台产品的总体方案思路是：基于目前医疗服务机构及相关机构已有的HLI、NHLI、HIS等有关系统形成并积累的医药医疗大数据和信息，采用最新的大数据技术、云计算技术、BI和数据挖掘技术，形成对医疗行业具有新视角、全方位、智能性、预测性、可视性的深层次展示分析效果（Insight），揭示医疗行业整体规律和内在发展趋势，揭示患者个体的独有特质并形成个性医疗，将医疗行业的宏观大势与每个患者的微观个体定性定量描述有机结合，达到支撑和形成医疗行业新应用场景和新服务模式。“医药医疗大数据”是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，但需要新计算处理模式。 1.背景介绍 根据国际著名分析机构Gartner给出的定义：大数据就是那些具有规模大、速度快、种类多三大特征的数据资产。大数据分析从海量数据中筛选出有用的信息，然后通过各种手段将信息转化为洞察力，从而做出正确决策，并最终推动业务发展。通过一系列分析处理，大数据可以帮助企业制定明智且切实可行的战略，获取前所未有的客户洞察，支持客户购买行为，并构建新的业务模式，进而赢得竞争优势。 随着人们的生活水平不断提高，健康也越来越受到家庭的关注。2009 年2 月27 日，我国卫生部公布的第四次国家卫生服务调查结果显示，截止至2008 年，我国居民脑血栓，糖尿病，高血压等慢性病病例数达到2.6亿，占全国总人

数的20%，其中高血压病人对自身疾病的知晓率只有30%，同时这些病人中的治疗率只有25%，控制率仅为6%，糖尿病病人中，能坚持做到规范治疗的也只有33%。由此我们可以看出，建立科学、规范、高质量的慢性病管理策略，实现对人体慢性病的监护具有重大的意义。通过慢性病的早期诊断和监护，不仅能提前预防和控制各种疾病，还能帮助他们合理用药，减少医药开支。另一方面，我国公共医疗卫生资源紧缺，城乡医疗卫生资源的差距比较大，城市人口平均拥有的医疗卫生资源是农村人口的2.5倍以上，比如，占全国总人口近70%的农村拥有全国医疗卫生资源的30%，而占全国总人口30%的城市却占有全国医疗卫生资源的70%，优质的医疗卫生资源集中分布在城市，尤其是大城市。因此，实现城乡之间的医疗卫生资源共享成为丞待解决的重要问题。 同时，随着国家积极倡导“3521”医疗系统建设，我国医疗领域信息化程度得到了很大的提高，预计在全国会出现上百个医疗数据中心，每个数据中心都将承载近1000 万人口的医疗数据，数量多、更新快且类型繁杂，使医院数据库的信息容量不断膨胀，这就产生了医疗大数据。医疗大数据通常具有以下特征: (1) 数据巨量化: 区域医疗数据通常是来自于拥有上百万人口和上百家医疗机构的区域，并且数据呈持续增长的趋势。依照医疗行业的相关规定，患者的数据通常至少需要保留50 年。 (2) 服务实时性: 医疗信息服务中会存在大量在线或实时数据分析处理的需求。例如: 临床中的诊断和用药建议、健康指标预警等。 (3) 存储形式多样化: 医疗数据的存储形式多种多样，例如各种结构化数据表、非( 半) 结构化文本文档、医疗影像等。 (4) 高价值性: 医疗数据对国家乃至全球的疾病防控、新药研发和顽疾攻克

车联网大数据平台架构设计-软硬件选型 1.软件选型建议 数据传输 处理并发链接的传统方式为：为每个链接创建一个线程并由该线程负责所有的数据处理业务逻辑。这种方式的好处在于代码简单明了，逻辑清晰。而由于操作系统的限制，每台服务器可以处理的线程数是有限的，因为线程对CPU的处理器的竞争将使系统整体性能下降。随着线程数变大，系统处理延时逐渐变大。此外，当某链接中没有数据传输时，线程不会被释放，浪费系统资源。为解决上述问题，可使用基于NIO的技术。 Netty Netty是当下最为流行的Java NIO框架。Netty框架中使用了两组线程：selectors与workers。其中Selectors专门负责client端（列车车载设备）链接的建立并轮询监听哪个链接有数据传输的请求。针对某链接的数据传输请求，相关selector会任意挑选一个闲置的worker线程处理该请求。处理结束后，worker自动将状态置回‘空闲’以便再次被调用。两组线程的最大线程数均需根据服务器CPU处理器核数进行配置。另外，netty内置了大量worker 功能可以协助程序员轻松解决TCP粘包，二进制转消息等复杂问题。 IBM MessageSight MessageSight是IBM的一款软硬一体的商业产品。其极限处理能力可达百万client并发，每秒可进行千万次消息处理。 数据预处理 流式数据处理 对于流式数据的处理不能用传统的方式先持久化存储再读取分析，因为大量的磁盘IO操作将使数据处理时效性大打折扣。流式数据处理工具的基本原理为将数据切割成定长的窗口并对窗口内的数据在内存中快速完成处理。值得注意的是，数据分析的结论也可以被应用于流式数据处理的过程中，即可完成模式预判等功能还可以对数据分析的结论进行验证。 Storm Storm是被应用最为广泛的开源产品中，其允许用户自定义数据处理的工作流（Storm术语为Topology），并部署在Hadoop集群之上使之具备批量、交互式以及实时数据处理的能力。用户可使用任意变成语言定义工作流。 IBM Streams IBM的Streams产品是目前市面上性能最可靠的流式数据处理工具。不同于其他基于Java 的开源项目，Streams是用C++开发的，性能也远远高于其他流式数据处理的工具。另外IBM 还提供了各种数据处理算法插件，包括：曲线拟合、傅立叶变换、GPS距离等。 数据推送 为了实现推送技术，传统的技术是采用‘请求-响应式’轮询策略。轮询是在特定的的时间间隔（如每1秒），由浏览器对服务器发出请求，然后由服务器返回最新的数据给客户端的浏览器。这种传统的模式带来很明显的缺点，即浏览器需要不断的向服务器发出请求，然而HTTP request 的header是非常长的，里面包含的数据可能只是一个很小的值，这样会占用很多的带宽和服务器资源。

大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境，以基础信息资源库(人口库、法人库、宏观经济、地理库)为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态,为政策拟定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源,结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理,法人与地理，实现基础展示与分析,融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求:通过对各个委办局的指定业务数据进行汇聚,将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和EＴL等功能。 ２、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大,数据类型繁杂,数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据,经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备

高可靠性、快速查询能力。 3、数据计算分析需求：包括海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力,支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联,即:通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。 5、应用开发需求:依靠集中数据集,快速开发创新应用，支撑实际分析业务需要。 6、大数据分析挖掘需求:通过对海量的政务业务大数据进行分析与挖掘,辅助政务决策,提供资源配置分析优化等辅助决策功能， 促进民生的发展。

龙源期刊网 https://www.sodocs.net/doc/ef18342341.html, 京东大数据的思考和探索 作者：刘彦伟 来源：《软件和集成电路》2018年第08期 京东大数据平台是京东大数据业务的基础服务平台，为京东大数据业务的实现提供一站式、自助式的大数据处理全流程解决方案。涵盖数据接入、存储、处理、分析、挖掘、可视化、机器学习等产品和服务，致力于大幅降低大数据消费门槛，帮助京东大数据业务快速落地，助力京东实践以数据为驱动的业务变革与发展。京东在大数据方向上的思考和探索非常多，今天主要和大家分享实时数仓、存储计算分离与容器化。 我针对京东大数据的业务场景和特点，对实时数仓这个领域大概做了三个分类，即实时应用、实时分析、实时数仓。关于实时应用，比如，实时大屏、京东聊吧等，京东内部用的实时报表，为京东的高层或京东业务人员提供决策支持类系统，就是非常典型的实时应用。这些实时应用类业务的技术，在业内发展得比较成熟，比如Storm、Flink、SparkStreaming等的技术框架已经非常成熟，京东基于技术框架再去落地这些应用。这些应用的特点是：门槛高。正因为用了这些比较流行的实时计算框架，京东在数据时效性上可以达到秒级的延迟。 关于实时分析，实时分析是实时应用里一个非常典型的产品。大家在访问京东App、京东网站时，当你浏览一些商品之后，京东能够根据你的实时浏览行为，为你推荐需要的产品，因为每个人在京东看到的商品或广告不一样。实时主要是体现在数据时效性上，通过实时OLAP 分析平台，可以让我们的业务人员或分析师看到分钟级或秒级延迟数据。通过技术手段提升OLAP引擎的数据时效性，从而解决实时分析对数据分析场景的支持。实时分析的场景具有不确定性，分析人员需要获取什么样的数据相对不确定。分析人员需要的订单类型数据可能基于地域分析，也可能基于渠道分析，也可能基于不同时间窗口分析。总之，需求相对不确定。数据相对确定，要么基于订单数据分析，要么基于流量数据分析。实时分析需要研发人员和研发资源的参与，研发人员需要构建OLAP产品底层的模型，研发资源的投入永远不够。京东的业务非常广泛，除了物流、配送、供应链等核心业务之外，还有大量长尾需求。对于长尾需求在实时性上的需求没办法满足，因为没有这么多研发资源投入进来去帮他们构建实时应用或实时OLAP的基础产品。随着实时分析的广泛应用，各个部门对实时计算的需求非常迫切，为了更好地满足客户的需求，我们提出了实时数仓概念。 实时数仓概念是相对于传统数据仓库而言，通过技术手段把传统数据仓库升级为实时数仓，可以达到分钟级时延，实时数仓可以满足有长尾需求的所有用户。实时数仓平台是通用型解决方案，京东的任意一个业务部门可以基于体系内的引擎，通过流式计算引擎的方式，实时写入实时数仓平台中。通过实时数仓的构建，京东所有业务人员的采销、运营都具备了获取实时数据的能力，有了实时数仓的体系之后，业务人员上线业务的第一天，就能看到他实时的数据。所以，我们认为，实时数仓可以改变整个大数据体系的未来。实时数仓通过实时数据总线，将存在数据库里的数据、放在服务器上的日志型数据、结构化数据、非结构化数据等，全部接入流式计算引擎中，流式计算引擎将数据分发到不同存储中。第一类是在线存储，第二类

石油行业大数据分析 平 台 方 案

目录 一数据管理的现状 (1) 二石油行业大数据分析的概述 (2) （一）石油行业大数据分析概念 (2) （二）石油行业大数据分析目标 (3) 三石油行业大数据分析体系 (3) 四石油行业大数据分析核心领域 (4) （一）数据模型 (4) （二）数据生命周期 (5) （三）数据标准 (6) （四）主数据 (8) （五）数据质量 (9) （六）数据服务............................................................................................ 1 1 （七）数据安全............................................................................................ 1 2 五石油行业大数据分析保障机制 (13) （一）制度章程............................................................................................ 1 3 (1) 规章制度............................................................................................ 1 3 (2) 管控办法............................................................................................ 1 3 (3) 考核机制............................................................................................ 1 3 （二）石油行业大数据分析组织....................................................................... 1 5

2016年中国电商行业大数据分析报告

研究背景：放眼当下，恰逢互联网购物的大好时代，在国家信息网络战略实施、几大移动运营商快速发展、各大电商网络平台百花齐放的大背景下，年轻消费群体购买力突飞猛进，网上零售市场份额不断提升，网购渗透率正逐年增加。中商产业研究院预计，到2016年，我国网上零售额将突破5万亿，占社会消费品零售总额的%，网购用户渗透率达到%。 2014-2020年中国网上零售额规模情况 数据来源：国家统计局、中商产业研究院 2014-2020年中国网购渗透率情况

数据来源：国家统计局、中商产业研究院休闲食品电商 1、产业综述 2、发展现状

随着经济的发展和消费水平的提高，休闲食品正在逐渐升级成为百姓日常的必需消费品。现阶段，我国休闲食品电商三足鼎立格局初现,龙头优势明显。三只松鼠、百草味、良品铺子已牢牢占据了休闲食品电商前三,其他品牌竞争难度加大。 3、市场规模 中国经济快速发展，居民生活水平和消费能力不断提高，消费习惯也随之改变。从吃饱到吃好，消费者对食品的需求和兴趣从必须消费品逐渐向可选消费品转移，零食不再是儿童、青少年的专属，不再和不健康划上等号，和正餐之间的界限也日渐模糊。因此，休闲食品线上销售规模也在逐年增长，2015年，我国休闲食品电商销售规模约为450亿元。 2014-2020年中国休闲食品电商市场交易规模 数据来源：中商产业研究院 4、消费特点

女性消费者是绝对购买主力：休闲零食消费在性别的差异性放点明显，女性消费者是绝对购买主力。根据尼尔森，在全球范围内，女性比男性消费更多零食且女性对葛洪零食的消费意愿高于男性。根据易观智库，女性消费者不仅在购买人数上超过男性消费者（购买力%%）。 80后、90后为零食网购主力：从休闲零食网购消费者年龄分布来看，28-38岁消费者占比%，18-28岁消费者占比%，年轻人成为绝对多数。80后基本步入职场，消费能力也已承受。即将进入社会的90后，消费更具冲动型、超前性，见识未来的生力军。 白领为零食电商消费的主要人群：休闲零食电商的手中人群职业分布较广，不仅有白领人士、事业机关人员，还有自由职业者，家庭主妇及退休人员等。因此，市场对食品电商的产品需求多元化，长尾效应明显。其中，白领人士是零食电商的最主要消费者（47%），性价比高、有个性有腔调、方便快捷是他们的诉求特征。 生鲜电商 1、产业综述

大数据架构的介绍及分析 数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI 系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI 系统来说，大概的架构图如下： 可以看到在BI系统里面，核心的模块是Cube，Cube是一个更高层的业务模型抽象，在Cube之上可以进行多种操作，例如上钻、下钻、切片等操作。大部分BI系统都基于关系型数据库，关系型数据库使用SQL语句进行操作，但是SQL 在多维操作和分析的表示能力上相对较弱，所以Cube有自己独有的查询语言MDX，MDX表达式具有更强的多维表现能力，所以以Cube为核心的分析系统基本占据着数据统计分析的半壁江山，大多数的数据库服务厂商直接提供了BI套装软件服务，轻易便可搭建出一套Olap分析系统。不过BI的问题也随着时间的推移逐渐显露出来： BI系统更多的以分析业务数据产生的密度高、价值高的结构化数据为主，对于非结构化和半结构化数据的处理非常乏力，例如图片，文本，音频的存储，分析。 由于数据仓库为结构化存储，在数据从其他系统进入数据仓库这个东西，我

们通常叫做ETL过程，ETL动作和业务进行了强绑定，通常需要一个专门的ETL团队去和业务做衔接，决定如何进行数据的清洗和转换。 随着异构数据源的增加，例如如果存在视频，文本，图片等数据源，要解析数据内容进入数据仓库，则需要非常复杂等ETL程序，从而导致ETL变得过于庞大和臃肿。 当数据量过大的时候，性能会成为瓶颈，在TB/PB级别的数据量上表现出明显的吃力。 数据库的范式等约束规则，着力于解决数据冗余的问题，是为了保障数据的一致性，但是对于数据仓库来说，我们并不需要对数据做修改和一致性的保障，原则上来说数据仓库的原始数据都是只读的，所以这些约束反而会成为影响性能的因素。 ETL动作对数据的预先假设和处理，导致机器学习部分获取到的数据为假设后的数据，因此效果不理想。例如如果需要使用数据仓库进行异常数据的挖掘，则在数据入库经过ETL的时候就需要明确定义需要提取的特征数据，否则无法结构化入库，然而大多数情况是需要基于异构数据才能提取出特征。 在一系列的问题下，以Hadoop体系为首的大数据分析平台逐渐表现出优异性，围绕Hadoop体系的生态圈也不断的变大，对于Hadoop系统来说，从根本上解决了传统数据仓库的瓶颈的问题，但是也带来一系列的问题：从数据仓库升级到大数据架构，是不具备平滑演进的，基本等于推翻重做。 大数据下的分布式存储强调数据的只读性质，所以类似于Hive，HDFS 这些存储方式都不支持update，HDFS的write操作也不支持并行，这些特性导致其具有一定的局限性。 基于大数据架构的数据分析平台侧重于从以下几个维度去解决传统数据仓库做数据分析面临的瓶颈： 分布式计算：分布式计算的思路是让多个节点并行计算，并且强调数据本地性，尽可能的减少数据的传输，例如Spark通过RDD的形式来表现数据的计算逻辑，可以在RDD上做一系列的优化，来减少数据的传输。

1. 技术实现框架 1.1大数据平台架构 1.1.1大数据库是未来提升业务能力的关键要素 以“大数据”为主导的新一波信息化浪潮正席卷全球，成为全球范围内加速企业技术创新、推动政府职能转变、引领社会管理变革的利器。目前，大数据技术已经从技术研究步入落地实施阶段，数据资源成为未来业务的关键因素。通过采集和分析数据，我们可以获知事物背后的原因，优化生产/生活方式，预知未来的发展动态。 经过多年的信息化建设，省地税已经积累了丰富的数据资源，为下一步的优化业务、提升管理水平，奠定了坚实的基础。 未来的数据和业务应用趋势，大数据才能解决这些问题。 《1.巨杉软件SequoiaDB产品和案例介绍v2》P12 “银行的大数据资产和应用“，说明税务数据和业务分析，需要用大数据解决。 《1.巨杉软件SequoiaDB产品和案例介绍v2》P14 “大数据与传统数据处理”，说明处理模式的差异。 1.1.2大数据平台总体框架 大数据平台总体技术框架分为数据源层、数据接口层、平台架构层、分析工具层和业务应用层。如下图所示：

（此图要修改，北明） 数据源层：包括各业务系统、服务系统以及社会其它单位的结构化数据和非结构化数据； 数据接口层：是原始数据进入大数据库的入口，针对不同类型的数据，需要有针对性地开发接口，进行数据的缓冲、预处理等操作； 平台架构层：基于大数据系统存储各类数据，进行处理？； 分析工具层：提供各种数据分析工具，例如：建模工具、报表开发、数据分析、数据挖掘、可视化展现等工具； 业务应用层：根据应用领域和业务需求，建立分析模型，使用分析工具，发现获知事物背后的原因，预知未来的发展趋势，提出优化业务的方法。例如，寻找服务资源的最佳配置方案、发现业务流程中的短板进行优化等。 1.1.3大数据平台产品选型 针对业务需求，我们选择巨杉数据库作为大数据基础平台。

55 摘要：近年来物流服务新技术成为了社会关注的热点，而大数据技术已逐渐成为物流建设的着力点。本文在简要介绍大数据新技术的基础上，阐述了此新技术在京东物流企业各方面中的应用及优势，提出了企业应用大数据技术时存在的问题和解决对策，最后做出对物流大数据新技术的总结和展望。 关键词：大数据；物流企业；京东；应用 引言 随着我国科技水平的迅速提高和社会经济文化的不断进步，许多先进的技术被普遍应用到各行各业，当然物流行业也不例外。近年来，大数据技术与物流行业高度结合，让物流逐渐从传统形象往高大上“科技范儿”转变，促使物流企业掀起科技变革巨浪。本文以京东企业为例，论述大数据新技术的应用研究。 1、大数据技术的概述 大数据技术一般运用数据挖潜、数据分析手段对信息进行整合筛选，使企业能够在合理的时间内进行传统数据库工具无法处理的海量数据的处理技术[1]，通常具有四大优点：数据规模巨大、来源多样化、处理能力强大、数据价值密度低。 物流大数据则是指物流各子环节中的海量信息资源。大数据技术借助本身四大优点，对运输、仓储、配送等物流信息的分析利用，可以最大限度地节约物流成本、提高工作效率，满足客户对物流服务的需求，达到优化供应链各方的资源配置和利润等作用。 2、物流企业应用大数据技术的优势 物流服务数据的大量化、多样化使京东物流企业在加大对数据处理方面的投入时，合理地利用大数据，将其视为一项战略资源，才能够降低物流成本、提高配送效率。同时京东企业在掌握海量数据资源后，应在各方面做好全面部署工作，才能领先行业为企业及社会创造更多的财富。 2.1 信息共享，掌握企业运作信息 目前，中国电子商务的发展速度已经领先全球。2017年整个京东618年中购物节期间的累计下单金额突破1000亿元，第一个小时的销售额超过去年同期的250%，交易额喷井式增长给数据运维带来了极大的考验。根据京东提供的数据，基层工作 大数据技术在物流企业中的应用 ——以京东企业为例 文／许美贤 郑琰 人员要完成节日期间所有货物的配送至少需要步行5亿公里，路程相当漫长，而京东无人送货车无人机的投入使用让整体配送时间大大缩短。从京东的运作情况得知，每一个物流环节的信息爆炸式增长，使得常规的物流信息数据收集、分析和处理工具的能力已经不能满足企业和客户对节点的信息需求，这就需要利用数据分析处理平台筛选出有利用价值的信息，从而促进企业持续稳定发展。 2.2 提供依据帮助物流企业做出正确的决策 通过传统问卷调研或个人主观判断来进行决策的方法已经日暮途穷，这种方式不能及时、准确、客观地了解到现代消费者的物流服务需求，会使企业做出错误的经营决策，错失重大商机。如果根据人们以往生活经验，会认为奢侈品在经济发达的大城市才有高销售量，在节日前夕就只在经济发达地区做好仓储、配送等工作安排。但是京东大数据显示2018年七夕期间，拉萨地区的铂金、黄金销量大幅增长，七夕节前两周，销量比平时增长了4.4倍、1.9倍，同时，数据显示，在拉萨地区，鲜花也是拉萨市民浪漫的必备品，七夕节前两周，鲜花销量比平时增长了1.6倍，钻石销量比平时增长了2.1倍，腕表销量比平时增长了48%。此外，七夕节前两周，拉萨地区生活电器销量比平时增长了44%。 而京东对信息的收集、汇总处理工作及时高效，在得到较为精准的业务数据后，分析、筛选出有利用价值的信息来判断和预测每个地区的各种商品需求量及物流服务需求度，进而调整企业运营方案，集中精力完成高效益的业务，充分发挥大数据技术的作用为企业带来高额利润。 2.3 通过对数据“加工”来实现数据“增值” 通过对不断增长的数据进行“加工”，可以在物流企业产生显著的财务价值。2017年8月京东无人机无人车总部落户凤岗，采用规范的模型“加工”数据，使年产值逾400亿，年劳动生产率提高0.5％。京东大数据的质量和价值跻身中国顶级互联网公司之列，借助这些大数据，并对此进行增值处理，就可以为用户提供个性化服务、为业务运营提供智能化支持。因此，在掌握庞大的数据信息后，提高对数据的“加工能力”筛选出有价值的信息，实现数据的“增值”[2]，才能体现企业的大数据战略意义。 3、大数据技术在物流领域的应用 随着现代信息通信技术的快速发展和物流业务量的不断增加，物流服务过程产生的信息流和相关数据也呈现不断增长趋 ★基金项目：南京林业大学2018年大学生实践创新训练计划项目（No.2018NFUSPITP682）.

二、大数据平台建设 （一）大数据平台框架概述 大数据平台建设充分整合信息化资源，打破行业、部门之间的信息壁垒，运用大数据技术进行采集、加工、建模、分析，将数据价值融入到金融之中，从而提升创新能力和产品服务能力。主要包括以下三部分： 1．大数据分析基础平台 按照功能划分数据区，设计数据模型，在统一流程调度下，整合各类数据，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用，支撑上层应用。 2．大数据应用系统 基于基础数据平台，持续建设各类数据应用系统，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动，充分发挥大数据价值。 3．大数据管控 建立数据标准，提升数据质量，加强元数据管理能力，为平台建设及安全提供保障 （二）大数据平台建设原则 大数据平台是大数据运用的基础实施，其设计、建设和系统实现过程中，应遵循如下指导原则： 经济性：基于现有场景分析，对数据量进行合理评估，确定大数据平台规模，后续根据实际情况再逐步优化扩容。

可扩展性：架构设计与功能划分模块化，考虑各接口的开放性、可扩展性，便于系统的快速扩展与维护，便于第三方系统的快速接入。 可靠性：系统采用的系统结构、技术措施、开发手段都应建立在已经相当成熟的应用基础上，在技术服务和维护响应上同用户积极配合，确保系统的可靠；对数据指标要保证完整性，准确性。 安全性：针对系统级、应用级、网络级，均提供合理的安全手段和措施，为系统提供全方位的安全实施方案，确保企业内部信息的安全。大数据技术必须自主可控。 先进性：涵盖结构化，半结构化和非结构化数据存储和分析的特点。借鉴互联网大数据存储及分析的实践，使平台具有良好的先进性和弹性。支撑当前及未来数据应用需求，引入对应大数据相关技术。 平台性：归纳整理大数据需求，形成统一的大数据存储服务和大数据分析服务。利用多租户,实现计算负荷和数据访问负荷隔离。多集群统一管理。 分层解耦：大数据平台提供开放的、标准的接口，实现与各应用产品的无缝对接 （三）基础数据来源 1．银行内部大数据资源 客户自身信息以及其金融交易行为，依照目前积累沉淀

大数据平台技术框架 选型分析

大数据平台框架选型分析 一、需求 城市大数据平台，首先是作为一个数据管理平台，核心需求是数据的存和取，然后因为海量数据、多数据类型的信息需要有丰富的数据接入能力和数据标准化处理能力，有了技术能力就需要纵深挖掘附加价值更好的服务，如信息统计、分析挖掘、全文检索等，考虑到面向的客户对象有的是上层的应用集成商，所以要考虑灵活的数据接口服务来支撑。 二、平台产品业务流程

三、选型思路 必要技术组件服务： ETL >非/关系数据仓储>大数据处理引擎>服务协调>分析BI >平台监管

四、选型要求 1．需要满足我们平台的几大核心功能需求，子功能不设局限性。如不满足全部，需要对未满足的其它核心功能的开放使用服务支持 2．国内外资料及社区尽量丰富，包括组件服务的成熟度流行度较高 3．需要对选型平台自身所包含的核心功能有较为深入的理解，易用其API或基于源码开发 4．商业服务性价比高，并有空间脱离第三方商业技术服务

5．一些非功能性需求的条件标准清晰，如承载的集群节点、处理数据量及安全机制等 五、选型需要考虑 简单性：亲自试用大数据套件。这也就意味着：安装它，将它连接到你的Hadoop安装，集成你的不同接口（文件、数据库、B2B等等），并最终建模、部署、执行一些大数据作业。自己来了解使用大数据套件的容易程度——仅让某个提供商的顾问来为你展示它是如何工作是远远不够的。亲自做一个概念验证。 广泛性：是否该大数据套件支持广泛使用的开源标准——不只是Hadoop和它的生态系统，还有通过SOAP和REST web服务的数据集成等等。它是否开源，并能根据你的特定问题易于改变或扩展？是否存在一个含有文档、论坛、博客和交流会的大社区？ 特性：是否支持所有需要的特性？Hadoop的发行版本（如果你已经使用了某一个）？你想要使用的Hadoop生态系统的所有部分？你想要集成的所有接口、技术、产品？请注意过多的特性可能会大大增加复杂性和费用。所以请查证你是否真正需要一个非常重量级的解决方案。是否你真的需要它的所有特性？ 陷阱：请注意某些陷阱。某些大数据套件采用数据驱动的付费方式（“数据税”），也就是说，你得为自己处理的每个数据行付费。因为我们是在谈论大数据，所以这会变得非常昂贵。并不是所有的大数据套件都会生成本地Apache Hadoop代码，通常要在每个Hadoop集群的服务器上安装一个私有引擎，而这样就会解除对于软件提供商的独立性。还要考虑你使用大数据套件真正想做的事情。某些解决方案仅支持将Hadoop用于ETL来填充数据至数据仓库，而其他一些解决方案还提供了诸如后处理、转换或Hadoop集群上的大数据分析。ETL仅是Apache Hadoop和其生态系统的一种使用情形。 六、方案分析

银行业金融大数据服务平台项目 规划书

项目介绍 1.1项目背景 银行业一直是一个数据驱动的行业，数据也一直是银行信息化的主题词。银行的信息化进程先后经历过业务电子化、数据集中化、管理模型化等阶段，如今随着大数据技术的飞速发展，银行信息化也进入了新的阶段：大数据时代。 目前，国内银行都积累了海量的金融数据，包括各类结构化、半结构化、非结构化数据，数据量巨大，存储方式多样。但是这些海量数据还没得到充分利用，显得价值含量较低。只有经过合适的预处理、模型设计、分析挖掘后，才能发现隐藏在其中的潜在规律。而应用大数据分析技术，可以从海量的、不完全一致的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。银行可以利用这些信息和知识来提升金融业务的服务效率和管理水平，银行的关键业务也能从中获得巨大收益。 银行在大数据技术应用方面具有天然优势：一方面，银行在业务开展过程中积累了大量有价值数据，这些数据在运用大数据技术挖掘和分析之后，将产生巨大的商业价值；另一方面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技术。建立“金融大数据服务平台”，可以通过对金融数据的挖掘、分析，创造数据增值价值，提供针对银行的精准营销、统一广告发布、业务体验优化、客户综合管理、风险控制等多种金融服务。 1.2业务需求 目前，银行客户对数据的利用仍是以各类统计报表为主，存在以下重大弊端： 1.对数据的分析仅按照固定项目，对业务情况进行事后统计分析和监控。实际上没有 找到隐藏在数据背后的原因，数据深度分析和数据挖掘能力不足。 2.对数据的分析仅作为专项的统计分析结果输出，对于数据间的因果影响、相关性分 组或关联规则、聚类、描述和可视化等工作尚未开展，数据关联分析能力不足。 3.统计分析侧重在事后的数据汇总，难以从数据汇总中得到客户服务事件发生的规律， 以及前瞻性判断，数据的预测性分析能力不足。