搜档网
当前位置:搜档网 › 大数据架构和模式

大数据架构和模式

大数据架构和模式
大数据架构和模式

大数据架构和模式(一): 大数据分类和架构简介

1.本文对大数据做了哪些分类?

2.对数据进行分类后,如何将它与合适的大数据模式匹配?

如何将大数据分为不同的类不

大数据问题的分析和解决通常专门复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得专门困难。以下操作是一个良好的开端:依据必须处理的数据的格式、要应用的分析类型、使用的处理技术,以及目标系统需要猎取、加载、处理、分析和存储数据的数据源,对大数据问题进行分类。

概述

大数据可通过许多方式来存储、猎取、处理和分析。每个大数据来源都有不同的特征,包括数据的频率、量、速度、类型和真实性。处理并存储大数据时,会涉及到更多维度,比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战,因为需要考虑特不多的因素。

那个“大数据架构和模式” 系列提供了一种结构化和基于模

式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据问题专门重要,因此我们包含了一些线索来关心确定哪些业务问题适合采纳大数据解决方案。

从分类大数据到选择大数据解决方案

假如您花时刻研究过大数据解决方案,那么您一定明白它不是一个简单的任务。本系列将介绍查找满足您需求的大数据解决方案所涉及的要紧步骤。

我们首先介绍术语“大数据” 所描述的数据类型。为了简化各种大数据类型的复杂性,我们依据各种参数对大数据进行了分类,为任何大数据解决方案中涉及的各层和高级组件提供一个逻辑

架构。接下来,我们通过定义原子和复合分类模式,提出一种结构来分类大数据业务问题。这些模式有助于确定要应用的合适的解决方案模式。我们提供了来自各行各业的示例业务问题。最后,关于每个组件和模式,我们给出了提供了相关功能的产品。

第 1 部分将介绍如何对大数据进行分类。本系列的后续文章将

介绍以下主题:

?定义大数据解决方案的各层和组件的逻辑架构

?理解大数据解决方案的原子模式

?理解用于大数据解决方案的复合(或混合)模式

?为大数据解决方案选择一种解决方案模式

?确定使用一个大数据解决方案解决一个业务问题的可行性?选择正确的产品来实现大数据解决方案

依据大数据类型对业务问题进行分类

业务问题可分类为不同的大数据问题类型。以后,我们将使用此类型确定合适的分类模式(原子或复合)和合适的大数据解决方

案。但第一步是将业务问题映射到它的大数据类型。下表列出了常见的业务问题并为每个问题分配了一种大数据类型。

按类型对大数据问题分类,更容易看到每种数据的特征。这些特征可关心我们了解如何猎取数据,如何将它处理为合适的格式,以及新数据出现的频率。来自不同来源的数据具有不同的特征;例如,社交媒体数据包含不断传入的视频、图像和非结构化文本(比如博客文章)。

表 1. 不同类型的大数据业务问题

我们依据这些常见特征来评估数据,下一节将详细介绍这些特征:?内容的格式

?数据的类型(例如,交易数据、历史数据或主数据)

?将提供该数据的频率

?意图:数据需要如何处理(例如对数据的临时查询)

?处理是否必须实时、近实时依旧按批次执行。

使用大数据类型对大数据特征进行分类

按特定方向分析大数据的特征会有所关心,例如以下特征:数据如何收集、分析和处理。对数据进行分类后,就能够将它与合适的大数据模式匹配:

1、分析类型—对数据执行实时分析依旧批量分析。请认真考

虑分析类型的选择,因为这会阻碍一些有关产品、工具、硬件、数据源和预期的数据频率的其他决策。一些用例可能需要混合使用两种类型:

2、欺诈检测;分析必须实时或近实时地完成。

3、针对战略性业务决策的趋势分析;分析可采纳批量模式。

4、处理方法—要应用来处理数据的技术类型(比如预测、分析、临时查询和报告)。业务需求确定了合适的处理方法。可结

合使用各种技术。处理方法的选择,有助于识不要在您的大数据解决方案中使用的合适的工具和技术。

5、数据频率和大小—可能有多少数据和数据到达的频率多高。明白频率和大小,有助于确定存储机制、存储格式和所需的预处理工具。数据频率和大小依靠于数据源:

?按需分析,与社交媒体数据一样

?实时、持续提供(天气数据、交易数据)

?时序(基于时刻的数据)

6、数据类型—要处理数据类型—交易、历史、主数据等。明白数据类型,有助于将数据隔离在存储中。

7、内容格式(传入数据的格式)结构化(例如 RDMBS)、非结构化(例如音频、视频和图像)或半结构化。格式确定了需要如何处理传入的数据,这是选择工具、技术以及从业务角度定义解决方案的关键。

8、数据源—数据的来源(生成数据的地点),比如 Web 和社交媒体、机器生成、人类生成等。识不所有数据源有助于从业务角度识不数据范围。该图显示了使用最广泛的数据源。

9、数据使用者—处理的数据的所有可能使用者的列表:

?业务流程

?业务用户

?企业应用程序

?各种业务角色中的各个人员

?部分处理流程

?其他数据存储库或企业应用程序

10、硬件—将在其上实现大数据解决方案的硬件类型,包括商用硬件或最先进的硬件。理解硬件的限制,有助于指导大数据解决方案的选择。

图 1 描绘用于分类大数据的各种类不。定义大数据模式的关键类不已识不并在蓝色方框中突出显示。大数据模式(将在下一篇文章中定义)来自这些类不的组合。

图 1. 大数据分类

结束语和致谢

在本系列剩余部分中,我们将介绍大数据解决方案的逻辑架构和各层,从访问到使用大数据。我们将提供数据源的完整列表,介绍专注于大数据解决方案的每个重要方面的原子模式。我们还将介绍复合模式,解释可如何结合使用原子模式来解决特定的大数据用例。本系列最后将提供一些解决方案模式,在广泛使用的用例与各个产品之间建立对应关系。

感谢 Rakesh R. Shinde 在定义本系列的整体结构上提供的指导,以及对本系列的批阅和提供的宝贵评论。

大数据架构和模式(二)如何明白一个大数据解决方案是否适合您的组织

1.如何推断大数据问题是否需要大数据解决方案?

2.如何评估大数据解决方案的可行性?

3.可通过大数据技术猎取何种洞察?

4.是否所有大数据都存在大数据问题?

简介

在确定投资大数据解决方案之前,评估可用于分析的数据;通过分析这些数据而获得的洞察;以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查。答案将揭示该数据和您尝试解决的问题的更多特征。

尽管组织一般情况对需要分析的数据类型有一些模糊的理解,但具体的细节专门可能并不清晰。怎么讲,数据可能具有之前未发觉的模式的关键,一旦识不了一种模式,对额外分析的需求就会变得专门明显。要关心揭示这些未知的未知信息,首先需要实现一些差不多用例,在此过程中,能够收集往常不可用的数据。构建数据存储库并收集更多数据后,数据科学家就能够更好地确定关键的数据,更好地构建将生成更多洞察的预测和统计模型。

组织可能也已明白它有哪些信息是不明白的。要解决这些已知的未知,组织首先必须与数据科学家合作,识不外部或第三方数据源,实现一些依靠于此外部数据的用例。

本文首先尝试回答大多数 CIO 在实施大数据举措之前通常会提出的问题,然后,本文将重点介绍一种将关心评估大数据解决方案对组织的可行性的基于维度的方法。

我的大数据问题是否需要大数据解决方案?

大数据,曾几何时大概专门少出现

组织多半会选择以增量方式实现大数据解决方案。不是每个分析和报告需求都需要大数据解决方案。假如关于对大型数据集或来

自多个数据源的临时报告执行并行处理的项目,那么可能没有必要使用大数据解决方案。

随着大数据技术的到来,组织会问自己:“大数据是否是我的业务问题的正确解决方案,或者它是否为我提供了业务机会?”大数据中是否隐藏着业务机会?以下是我从 CIO 那儿听到的一些典型问题:

?假如我使用大数据技术,可能会获得何种洞察和业务价值?

?它是否能够扩充我现有的数据仓库?

?我如何评估扩展当前环境或采纳新解决方案的成本?

?对我现有的 IT 治理有何阻碍?

?我能否以增量方式实现大数据解决方案?

?我需要掌握哪些具体的技能来理解和分析构建和维护大数据解决方案的需求?

?我的现有企业数据能否用于提供业务洞察?

?来自各种来源的数据的复杂性在不断增长。大数据解决方案对我有关心吗?

维度可关心评估大数据解决方案的可行性

为了回答这些问题,本文提出了一种依据下图中所示的维度来评估大数据解决方案的可行性的结构化方法。

?来自可通过分析数据获得的洞察的业务价值

?针对新数据来源和数据使用方式的治理考虑因素

?拥有相关技能和赞助商的承诺的人员

?捕获的数据量

?各种各样的数据源、数据类型和数据格式

?生成数据的速度,需要对它执行操作的速度,或者它更改的速度

?数据的真实性,或者数据的不确定性和可信赖性

关于每个维度,我们都给出了一些关键问题。依据业务上下文,为每个维度分配一个权重和优先级。评估会因业务案例和组织的不同而有所不同。您能够考虑在与相关的业务和 IT 利益相关者召开的一系列研讨会中探讨这些问题。

相关主题