编码矩阵计算中部分落后者与稀疏矩阵的统一处理
信息论
2022-06-28 v3 math.IT
摘要
分布式矩阵计算的总体执行时间常受集群内慢速工作节点（落后者）主导。近来，不同编码技术被用于缓解落后者影响，其中工作节点被分配处理原始矩阵编码后子矩阵的任务。在许多机器学习或优化问题中，相关矩阵常稀疏。若干先前的编码计算方法对原始子矩阵做稠密线性组合，这会显著增加工作节点计算时间并进而拖慢整体作业执行时间。此外，若干现有技术将落后者视为失效（删除）并丢弃其计算。本工作中，我们提出一种编码方法，其对原始子矩阵作有限编码，并利用较慢工作节点完成的局部计算。尽管我们的方案可延续先前工作的最优阈值，它也允许我们在稀疏输入矩阵下权衡落后者容忍度与工作节点计算速度。在 AWS（Amazon Web Services）集群上开展的广泛数值实验证实，所提方法显著提升了工作节点计算（及整体流程）速度。
引用
@article{arxiv.2109.12070,
title = {A Unified Treatment of Partial Stragglers and Sparse Matrices in Coded Matrix Computation},
author = {Anindya Bijoy Das and Aditya Ramamoorthy},
journal= {arXiv preprint arXiv:2109.12070},
year = {2022}
}