用于十亿节点图谱分析的基于SSD的特征求解器
分布式、并行与集群计算
2016-02-29 v3 数学软件
摘要
许多特征求解器如ARPACK和Anasazi已被开发用于计算大型稀疏矩阵的特征值。这些特征求解器受限于RAM容量。它们对于较小的特征值问题在单机内存中运行，而对于较大的问题则需要分布式内存。相反，我们开发了称为FlashEigen的基于SSD的特征求解器框架，它将Anasazi特征求解器扩展到SSD，以在单机上计算具有数亿甚至数十亿顶点的图的特征值。FlashEigen以半外部内存方式执行稀疏矩阵乘法，即我们将稀疏矩阵保存在SSD上，而将稠密矩阵保存在内存中。我们将整个向量子空间存储在SSD上，并通过缓存最近的稠密矩阵来减少I/O以提升性能。我们的结果表明，FlashEigen能够达到其内存实现40%-60%的性能，并且在具有48个CPU核心的机器上性能与Anasazi特征求解器相当。此外，它能够扩展到具有34亿个顶点和1290亿条边的图。使用120 GB内存计算十亿节点图的八个特征值大约需要四个小时。
引用
@article{arxiv.1602.01421,
title = {An SSD-based eigensolver for spectral analysis on billion-node graphs},
author = {Da Zheng and Randal Burns and Joshua Vogelstein and Carey E. Priebe and Alexander S. Szalay},
journal= {arXiv preprint arXiv:1602.01421},
year = {2016}
}