通过不等错误保护缓解分布式近似矩阵乘法的掉队者问题
分布式、并行与集群计算
2021-07-28 v2 信息论
math.IT
摘要
大规模机器学习与数据挖掘方法通常将计算分布到多个智能体以并行化处理。智能体处计算所需时间受本地资源可用性与/或恶劣信道条件影响，从而产生“掉队者问题”。作为该问题的补救，我们采用不等错误保护（UEP）码在分布式计算设定中获取矩阵乘积的近似，以对最终结果显示影响更大的块提供更高保护。我们通过界定具有不相关条目矩阵的期望重构误差，从理论角度刻画了所提方法的性能。我们还将所提编码策略应用于深度神经网络（DNN）训练中反向传播步骤的梯度计算（图像分类任务）。数值实验表明，在存在掉队者时，通过使用 UEP 码生成矩阵乘积近似，确实可显著缩短实现 DNN 训练收敛所需的总时间。
引用
@article{arxiv.2103.02928,
title = {Straggler Mitigation through Unequal Error Protection for Distributed Approximate Matrix Multiplication},
author = {Busra Tegin and Eduin. E. Hernandez and Stefano Rini and Tolga M. Duman},
journal= {arXiv preprint arXiv:2103.02928},
year = {2021}
}
备注
16 pages. arXiv admin note: text overlap with arXiv:2011.02749