利用分层超稀疏 GraphBLAS 矩阵实现每秒 750 亿次流式插入
分布式、并行与集群计算
2020-08-04 v2 数据库
数据结构与算法
性能
社会与信息网络
摘要
SuiteSparse GraphBLAS C 库实现了高性能超稀疏矩阵，并提供了多种语言（Python、Julia 和 Matlab/Octave）的绑定。GraphBLAS 提供了一种轻量级内存数据库式的超稀疏矩阵实现，非常适于分析多种类型的网络数据，同时提供严格的数学保证，如线性性。超稀疏矩阵的流式更新给内存层次结构带来巨大压力。本工作对一种分层超稀疏矩阵的实现进行了基准测试，该实现降低了内存压力并显著提高了向超稀疏矩阵的更新速率。分层超稀疏矩阵的参数依赖于控制在级联更新前层次中每一层的条目数量。这些参数易于调优，从而为各类应用实现最优性能。分层超稀疏矩阵在单个实例中可达到每秒超过 1,000,000 次更新。在 MIT SuperCloud 上扩展至 1,100 个服务器节点上的 31,000 个分层超稀疏矩阵阵列，实现了每秒 75,000,000,000 次的持续更新速率。该能力使 MIT SuperCloud 能够分析极大规模的流式网络数据集。
引用
@article{arxiv.2001.06935,
title = {75,000,000,000 Streaming Inserts/Second Using Hierarchical Hypersparse GraphBLAS Matrices},
author = {Jeremy Kepner and Tim Davis and Chansup Byun and William Arcand and David Bestor and William Bergeron and Vijay Gadepally and Matthew Hubbell and Michael Houle and Michael Jones and Anna Klein and Peter Michaleas and Lauren Milechin and Julie Mullen and Andrew Prout and Antonio Rosa and Siddharth Samsi and Charles Yee and Albert Reuther},
journal= {arXiv preprint arXiv:2001.06935},
year = {2020}
}
备注
4 pages, 4 figures, 28 references, accepted to IPDPS GrAPL 2020. arXiv admin note: substantial text overlap with arXiv:1907.04217