基于低权重编码的分布式矩阵计算
信息论
2023-08-24 v3 math.IT
摘要
掉队节点(straggler nodes)是分布式矩阵计算中众所周知的瓶颈，会导致计算/通信速度的下降。缓解此类掉队节点的常用策略是将基于Reed-Solomon的MDS(最大距离可分)码引入框架；这可以实现针对最优数量掉队节点的弹性。然而，这些码为工作节点分配的是子矩阵的稠密线性组合。当输入矩阵稀疏时，这些方法会增加编码矩阵中非零项的数量，进而对工作节点的计算时间产生不利影响。在本工作中，我们提出了一种分布式矩阵计算方法，其中分配的编码子矩阵是少量子矩阵的随机线性组合。除了非常适用于稀疏输入矩阵外，我们的方法在某一问题参数范围内仍具有最优的掉队节点弹性。此外，与近期稀疏矩阵计算方法相比，我们方法中为提升数值稳定性而搜索“良好”随机系数集合的计算效率要高得多。我们表明，我们的方法能够有效利用异构系统中较慢工作节点完成的局部计算，从而提升整体计算速度。通过Amazon Web Services (AWS)进行的数值实验表明，与现有方法相比，每个工作节点的计算时间最多减少30%，编码速度加快100倍。
引用
@article{arxiv.2301.12685,
title = {Distributed Matrix Computations with Low-weight Encodings},
author = {Anindya Bijoy Das and Aditya Ramamoorthy and David J. Love and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2301.12685},
year = {2023}
}