基于 RDMA 的 GPU 稀疏矩阵乘法算法
分布式、并行与集群计算
2024-06-06 v2
摘要
稀疏矩阵乘法是大规模图处理及其他数据密集型应用的重要核心算子。本文实现了多种异步的、基于 RDMA 的稀疏乘稠密（SpMM）与稀疏乘稀疏（SpGEMM）算法，并在分布式内存环境下的 GPU 上评估其性能。我们基于 RDMA 的实现使用 NVSHMEM 通信库，在 GPU 之间实现直接、异步的单边通信。我们将异步实现与最先进的块同步 GPU 库以及 SUMMA 算法的 CUDA-aware MPI 实现进行了比较。我们发现，基于异步 RDMA 的实现相比块同步实现能够提供更优的性能，同时还便于直接实现新颖的工作窃取算法。
引用
@article{arxiv.2311.18141,
title = {RDMA-Based Algorithms for Sparse Matrix Multiplication on GPUs},
author = {Benjamin Brock and Aydın Buluç and Katherine Yelick},
journal= {arXiv preprint arXiv:2311.18141},
year = {2024}
}
备注
To appear in ACM International Conference on Supercomputing (ICS) 2024