搜档网

搜档网

当前位置:搜档网 > GraphLab与Pregel对比

GraphLab与Pregel对比

一、GraphLab

GraphLab与Pregel对比

示例1:GraphLab完成对V0邻接顶点的求和计算

示例中,需要完成对V0邻接顶点的求和计算,串行实现中,V0对其所有的邻接点进行遍历,累加求和。而GraphLab中,将顶点V0进行切分,将V0的边关系以及对应的邻接点部署在两台处理器上,各台机器上并行进行部分求和运算,然后通过master顶点和mirror顶点的通信完成最终的计算。

每个顶点每一轮迭代经过gather->apple->scatter三个阶段。

1) Gather阶段

工作顶点的边 (可能是所有边,也有可能是入边或者出边)从领接顶点和自身收集数据,记为gather_data_i,各个边的数据graphlab会求和,记为sum_data。这一阶段对工作顶点、边都是只读的。

2) Apply阶段

Mirror将gather计算的结果sum_data发送给master顶点,master进行汇总为total。Master利用total和上一步的顶点数据,按照业务需求进行进一步的计算,然后更新master的顶点数据,并同步mirror。Apply阶段中,工作顶点可修改,边不可修改。

3) Scatter阶段

工作顶点更新完成之后,更新边上的数据,并通知对其有依赖的邻结顶点更新状态。这scatter过程中,工作顶点只读,边上数据可写。

GraphLab_新的面向机器学习的并行框架
最近在研究图数据计算问题,找到一篇不错的文章比较PregelGraphLab。 ???原文来自:/blog/?p=215 ? ?GraphLab是一种新的面向机器学习的...
graphlab-workshop-07-2012
In Summary GraphLab 1 and Pregel are not well suited for natural graphs Poor performance on high-degree vertices Low Quality Partitioning Distribute a ...
分布式图形实验:机器学习框架以及云技术中的数据挖掘
对部署在拥有 64 个节点 512 个 CPU 的亚马逊弹性计算服务集群 上的 Graphlab 系统进行大量评测,并和 Hadoop、Pregel 和 MPI 进 行对比。 2.MLDM 的算法性能...
课题_GRAPHLAB新的面向机器学习的并行框架
课题_GRAPHLAB新的面向机器学习的并行框架_韩语学习_外语学习_教育专区。课题_...为解决机器学习的流处理, Google 提出了 Pregel 框架, Pregel 是严格的 BSP ...
课题_GraphLab新的面向机器学习的并行框架
GraphLab:新的面向机器学习的并行框架 1.1 GraphLab 简介在海量数据盛行的今天,...为 解决机器学习的流处理,Google 提出了 Pregel 框架,Pregel 是严格的 BSP ...
大数据及MapReduce编程模型
? GraphX:– 基于Spark的图计算框架,兼容PregelGraphLab接口,增强了图构建以及图转换功能。 – Spark生态系统的目标就是将批处理、交互式处理、流式处理、图计算...
大数据挖掘和隐私
模型比较了当时最先进的KN算法 与其提出的一个简单算法SB 研究表明,简单算法在...Pregel,GraphLab: 图数据的并行处理框架 Dremel: 快速交互式数据分析系统,PB/s ...
几种并行编程框架在数据挖掘领域的比较
分布式计算和并行计算的比较分布式计算和并行计算共同点,都是将大任务化为小任 ...可以认为是 GraphLab(C++) 和 Pregel(C++)在 Spark(Scala)上的重写及优化,在...