搜档网

搜档网

当前位置:搜档网 > GraphLab与Pregel对比

GraphLab与Pregel对比

一、GraphLab

GraphLab与Pregel对比

示例1:GraphLab 完成对V0邻接顶点的求和计算

示例中,需要完成对V0邻接顶点的求和计算,串行实现中,V0对其所有的邻接点进行遍历,累加求和。而GraphLab 中,将顶点V0进行切分,将V0的边关系以及对应的邻接点部署在两台处理器上,各台机器上并行进行部分求和运算,然后通过master 顶点和mirror 顶点的通信完成最终的计算。

每个顶点每一轮迭代经过gather->apple->scatter三个阶段。

1) Gather 阶段

工作顶点的边 (可能是所有边,也有可能是入边或者出边) 从领接顶点和自身收集数据,记为gather_data_i,各个边的数据graphlab 会求和,记为sum_data。这一阶段对工作顶点、边都是只读的。

2) Apply 阶段

Mirror 将gather 计算的结果sum_data发送给master 顶点,master 进行汇总为total 。Master 利用total 和上一步的顶点数据,按照业务需求进行进一步的计算,然后更新master 的顶点数据,并同步mirror 。Apply 阶段中,工作顶点可修改,边不可修改。

3) Scatter 阶段

工作顶点更新完成之后,更新边上的数据,并通知对其有依赖的邻结顶点更新状态。这scatter 过程中,工作顶点只读,边上数据可写。

TOP相关主题

GraphLab_新的面向机器学习的并行框架
最近在研究图数据计算问题,找到一篇不错的文章比较PregelGraphLab。 ???原文来自:/blog/?p=215 ? ?GraphLab是一种新的面向机器学习的...
分布式图形实验:机器学习框架以及云技术中的数据挖掘
对部署在拥有 64 个节点 512 个 CPU 的亚马逊弹性计算服务集群 上的 Graphlab 系统进行大量评测,并和 Hadoop、Pregel 和 MPI 进 行对比。 2.MLDM 的算法性能...
spark GraphX 图计算 介绍 教程 入门 手册 调研
以及我们最为著名的 GraphLab,当然也包含 HAMA,其中 Pregel、 HAMA、Giraph 都...大家的联系都比较紧密;如果说只是你一个人关注很多人,这说明你的社 交群体是...
图计算
基于 BSP 模式, 目前有两种比较成熟的图计算模型。 Pregel 模型——像顶点一样...需要补充的是, Graphlab 在数据通信中, 并没有采用 MPI 的接口, 但在源码中...
graphlab-workshop-07-2012
In Summary GraphLab 1 and Pregel are not well suited for natural graphs Poor performance on high-degree vertices Low Quality Partitioning Distribute a ...
几种并行编程框架在数据挖掘领域的比较
GraphX公开了?个类似Pregel的操作,它是?泛使?的PregelGraphLab抽象 的?个融合。 在GraphX中,更?级的Pregel操作是?个约束到图拓扑的批量同步(bulksynchronous)并...
图计算
几种并行编程框架在数据挖掘领域的比较_互联网_IT/计算机_专业资料。第2 6卷...关 键 词: MapReduce;Pregel;Hama;GraphLab;MPI ;数据挖掘 中 图分 类号:TP...
Graph Storage_Wenguang
? GAS 模型——相比 Pregel 模型的消息通信范式,GraphLab 的 GAS 模型更偏向...图计算平台 Google 为了应对图计算的需求,推出了新的 “计算框架”——Pregel。...