PMV：面向可扩展图挖掘的预分区广义矩阵-向量乘法
分布式、并行与集群计算
2017-09-27 v1 数据库
数据结构与算法
摘要
如何分析包含数千亿节点和边的万维网与社交网络等巨型网络？网络分析已通过多种图挖掘方法进行，包括最短路径计算、PageRank、连通分量计算、带重启的随机游走等。这些图挖掘方法可表达为广义矩阵-向量乘法，由受典型矩阵-向量乘法启发的少量操作组成。近期，一些基于矩阵-向量乘法或自有原语的图处理系统被提出以处理大规模图；然而，由于内存空间不足或未考虑I/O代价，它们均未能处理万维网规模的图。本文提出PMV（预分区广义矩阵-向量乘法），一种基于分布式系统上广义矩阵-向量乘法的可扩展分布式图挖掘方法。PMV通过预先划分输入图，并根据预分区子矩阵的密度审慎应用执行策略，显著降低了分布式系统的主要瓶颈——通信代价。实验表明，PMV成功处理的图规模比现有基于分布式内存的图挖掘方法大16倍，并通过显著降低I/O代价，所需时间比以往基于磁盘的图挖掘方法减少9倍。
引用
@article{arxiv.1709.09099,
title = {PMV: Pre-partitioned Generalized Matrix-Vector Multiplication for Scalable Graph Mining},
author = {Chiwan Park and Ha-Myung Park and Minji Yoon and U Kang},
journal= {arXiv preprint arXiv:1709.09099},
year = {2017}
}
备注
10 pages