SpComm3D：面向3D稀疏核的稀疏通信框架
分布式、并行与集群计算
2024-05-01 v1
摘要
现有的3D算法在分布式内存稀疏核上因依赖于基于稠密的通信而存在可扩展性受限问题。虽然稠密无关的通信使用方便，但会导致不必要的带宽和内存消耗。我们提出SpComm3D，一种支持稀疏感知通信且内存占用最小的框架，确保无不必要的数据被通信或存储在内存中。SpComm3D通过最小或无通信缓冲区高效实现稀疏通信，从而进一步降低内存消耗。SpComm3D将每个处理器的局部计算与通信分离，允许灵活选择最佳加速计算版本。我们基于SpComm3D构建了两个重要的稀疏机器学习内核：样本密集-稠密矩阵乘法（SDDMM）和稀疏矩阵-矩阵乘法（SpMM）。在最多1800个处理器上的实验表明，SpComm3D在可扩展性方面具有优势，相对于最先进的稠密无关方法在SDDMM和SpMM的通信、内存和运行时间上最高可实现20倍的提升。代码已发布于：https://github.com/nfabubaker/SpComm3D
引用
@article{arxiv.2404.19638,
title = {SpComm3D: A Framework for Enabling Sparse Communication in 3D Sparse Kernels},
author = {Nabil Abubaker and Torsten Hoefler},
journal= {arXiv preprint arXiv:2404.19638},
year = {2024}
}