搜档网

搜档网

当前位置:搜档网 > GraphLab与Pregel对比

GraphLab与Pregel对比

一、GraphLab

GraphLab与Pregel对比

示例1:GraphLab 完成对V0邻接顶点的求和计算

示例中,需要完成对V0邻接顶点的求和计算,串行实现中,V0对其所有的邻接点进行遍历,累加求和。而GraphLab 中,将顶点V0进行切分,将V0的边关系以及对应的邻接点部署在两台处理器上,各台机器上并行进行部分求和运算,然后通过master 顶点和mirror 顶点的通信完成最终的计算。

每个顶点每一轮迭代经过gather->apple->scatter三个阶段。

1) Gather 阶段

工作顶点的边 (可能是所有边,也有可能是入边或者出边) 从领接顶点和自身收集数据,记为gather_data_i,各个边的数据graphlab 会求和,记为sum_data。这一阶段对工作顶点、边都是只读的。

2) Apply 阶段

Mirror 将gather 计算的结果sum_data发送给master 顶点,master 进行汇总为total 。Master 利用total 和上一步的顶点数据,按照业务需求进行进一步的计算,然后更新master 的顶点数据,并同步mirror 。Apply 阶段中,工作顶点可修改,边不可修改。

3) Scatter 阶段

工作顶点更新完成之后,更新边上的数据,并通知对其有依赖的邻结顶点更新状态。这scatter 过程中,工作顶点只读,边上数据可写。

TOP相关主题

graphlab-workshop-07-2012
In Summary GraphLab 1 and Pregel are not well suited for natural graphs Poor performance on high-degree vertices Low Quality Partitioning Distribute a ...
spark GraphX 图计算 介绍 教程 入门 手册 调研
以及我们最为著名的 GraphLab,当然也包含 HAMA,其中 Pregel、 HAMA、Giraph 都...大家的联系都比较紧密;如果说只是你一个人关注很多人,这说明你的社 交群体是...
图计算
基于 BSP 模式, 目前有两种比较成熟的图计算模型。 Pregel 模型——像顶点一样...需要补充的是, Graphlab 在数据通信中, 并没有采用 MPI 的接口, 但在源码中...
graphlab@idga
GraphX公开了?个类似Pregel的操作,它是?泛使?的PregelGraphLab抽象 的?个融合。 在GraphX中,更?级的Pregel操作是?个约束到图拓扑的批量同步(bulksynchronous)并...
graphx@strata2014_final
graphlab@idga_计算机软件及应用_IT/计算机_专业资料。A New Parallel works 32 Bulk Synchronous Parallel (BSP) Implementations: Pregel, Giraph, ...
大数据学习资源汇总
(a, b) //Reduce ) D 19 .vertices C 30 A E 75 F 16 20 We express the Pregel and GraphLab abstractions using the GraphX operators in less than ...
第6讲-云计算技术原理
Apache Crunch:一个简单的 Java API,用于执行在普通的 MapReduce 实现时比较单调...? ? Google Cayley:开源图形数据库; Google Pregel :图形处理框架; GraphLab ...
并行计算框架
3. Graph computing – Giraph, Pregel, GraphLab ? 4. Stream Processing – Storm, S4, D-Stream, KineoGraph, Naiad 2014年12月8日9时29分 3 ...