搜档网

搜档网

当前位置:搜档网 > GraphLab与Pregel对比

GraphLab与Pregel对比

一、GraphLab

GraphLab与Pregel对比

示例1:GraphLab完成对V0邻接顶点的求和计算

示例中,需要完成对V0邻接顶点的求和计算,串行实现中,V0对其所有的邻接点进行遍历,累加求和。而GraphLab中,将顶点V0进行切分,将V0的边关系以及对应的邻接点部署在两台处理器上,各台机器上并行进行部分求和运算,然后通过master顶点和mirror顶点的通信完成最终的计算。

每个顶点每一轮迭代经过gather->apple->scatter三个阶段。

1) Gather阶段

工作顶点的边 (可能是所有边,也有可能是入边或者出边)从领接顶点和自身收集数据,记为gather_data_i,各个边的数据graphlab会求和,记为sum_data。这一阶段对工作顶点、边都是只读的。

2) Apply阶段

Mirror将gather计算的结果sum_data发送给master顶点,master进行汇总为total。Master利用total和上一步的顶点数据,按照业务需求进行进一步的计算,然后更新master的顶点数据,并同步mirror。Apply阶段中,工作顶点可修改,边不可修改。

3) Scatter阶段

工作顶点更新完成之后,更新边上的数据,并通知对其有依赖的邻结顶点更新状态。这scatter过程中,工作顶点只读,边上数据可写。

graphlab-workshop-07-2012
In Summary GraphLab 1 and Pregel are not well suited for natural graphs Poor performance on high-degree vertices Low Quality Partitioning Distribute a ...
GraphLab_新的面向机器学习的并行框架
最近在研究图数据计算问题,找到一篇不错的文章比较PregelGraphLab。 ???原文来自:/blog/?p=215 ? ?GraphLab是一种新的面向机器学习的...
课题_GRAPHLAB新的面向机器学习的并行框架
课题_GRAPHLAB新的面向机器学习的并行框架_韩语学习_外语学习_教育专区。课题_...为解决机器学习的流处理, Google 提出了 Pregel 框架, Pregel 是严格的 BSP ...
课题_GraphLab新的面向机器学习的并行框架
GraphLab:新的面向机器学习的并行框架 1.1 GraphLab 简介在海量数据盛行的今天,...为 解决机器学习的流处理,Google 提出了 Pregel 框架,Pregel 是严格的 BSP ...
TRS大数据处理平台解决方案2.0
分布式计算和并行计算的比较分布式计算和并行计算共同点,都是将大任务化为小任 ...可以认为是 GraphLab(C++) 和 Pregel(C++)在 Spark(Scala)上的重写及优化,在...
Graph Storage_Wenguang
? GraphX:– 基于Spark的图计算框架,兼容PregelGraphLab接口,增强了图构建以及图转换功能。 – Spark生态系统的目标就是将批处理、交互式处理、流式处理、图计算...
spark GraphX 图计算 介绍 教程 入门 手册 调研
可以认为是 GraphLab(C++)和 Pregel(C++)在 Spark(Scala)上的重写及优化,跟...支持的数据结 构非常松散,是类似 json 的 bson 格式,因此可以存储比较复杂的...
超越--Hadoop的大数据
Distributed?systems – Pregel,GraphLab g , p (PowerGraph), ( p ),?GraphX(Spark) p ( p ) –“Distributed”?issues ? ? ? ? Fault?tolerance?...