编码分布式矩阵乘法的精度代价:一种维度分析
信息论
2021-05-18 v1 math.IT
摘要
编码分布式矩阵乘法(CDMM)方案,如MatDot码,寻求将矩阵乘法任务高效分发给一组个分布式服务器的方法,使得任意个服务器返回的答案足以恢复所需乘积。例如,为计算矩阵的乘积,MatDot码将每个矩阵划分为个子矩阵,以创建更小的编码计算任务,将每个服务器的上传/存储减少,从而可从任意个服务器返回的答案中恢复。CDMM中的一个重要问题是,在给定存储/上传约束下降低恢复阈值。最近,Jeong等人引入了近似MatDot(AMD)码,其恢复阈值较降至,提升近倍。激发本工作的一项关键观察是,近似计算所需的存储/上传不仅取决于分配给每个服务器的(编码)子矩阵的维度,还取决于其精度水平——这是Jeong等人未探讨的关键方面。我们的主要贡献是受先前为无线网络开发的广义自由度(GDoF)框架启发的AMD码维度分析,该分析表明,在相同上传/存储下,一旦计入任务分配的精度水平,AMD码在所有方面竟都不及甚至将完整计算任务分配给每个服务器的平凡复制方案。事实上,平凡复制方案的恢复阈值更优(为),下载成本、计算成本更低,且编码/解码(无需)复杂度远优于AMD码。维度分析得到了简单数值实验的支持。
引用
@article{arxiv.2105.07567,
title = {Price of Precision in Coded Distributed Matrix Multiplication: A Dimensional Analysis},
author = {Junge Wang and Zhuqing Jia and Syed A. Jafar},
journal= {arXiv preprint arXiv:2105.07567},
year = {2021}
}
备注
7 pages, 4 figures, submitted to ITW2021