低带宽矩阵乘法：更快的算法与更一般的稀疏形式
分布式、并行与集群计算
2024-05-24 v2
摘要
在先前的工作中，Gupta等人(SPAA 2022)提出了一种使用n台计算机的分布式算法，用于稀疏n×n矩阵乘法。他们假设输入矩阵是均匀稀疏的——每行每列最多有d个非零元——任务是计算乘积矩阵的一个均匀稀疏部分。稀疏结构事先全局已知（即支持设置）。作为输入，每台计算机接收每个输入矩阵的一行，每台计算机需要输出乘积矩阵的一行。在每个通信轮次中，每台计算机可以发送和接收一条O(log n)比特的消息。他们的算法在O(d^{1.907})轮内完成此任务，而平凡界是O(d^2)。我们在两个维度上改进了先前的工作：首先，我们表明可以在更少的轮次内完成相同的任务，仅需O(d^{1.832})轮。其次，我们探讨了当矩阵不是均匀稀疏时会发生什么。我们考虑了以下稀疏性的替代概念：行稀疏矩阵（每行最多d个非零元）、列稀疏矩阵、有界退化矩阵（我们可以递归删除一个最多有d个非零元的行或列）、平均稀疏矩阵（总共最多dn个非零元）以及一般矩阵。
引用
@article{arxiv.2404.15559,
title = {Low-Bandwidth Matrix Multiplication: Faster Algorithms and More General Forms of Sparsity},
author = {Chetan Gupta and Janne H. Korhonen and Jan Studený and Jukka Suomela and Hossein Vahidi},
journal= {arXiv preprint arXiv:2404.15559},
year = {2024}
}