无编码下载的拉格朗日编码弹性计算及其对缓慢计算节点的容错
信息论
2025-02-03 v2 分布式、并行与集群计算
math.IT
摘要
拉格朗日编码的弹性计算是由 Yang 等人于 2018 年提出的一种技术,旨在缓解云计算系统中弹性带来的影响,其中机器可以在计算轮次期间被抢占或添加。该方法利用最大距离可分离码(MDS)进行存储和矩阵-矩阵乘法的下载。但该方案无法容忍缓慢计算节点,编码复杂度高且上传成本大。2023 年,我们通过采用无编码存储和拉格朗日编码下载来解决上述限制。然而,这会导致较大的存储规模。为解决存储规模和上传成本的挑战,本文聚焦于基于无编码下载的拉格朗日编码弹性计算。我们提出了一类新的弹性计算方案,采用拉格朗日编码存储结合无编码下载(Lagrange-coded Storage with Uncoded Download, LCSUD)。我们提出的方案同时解决了弹性问题和缓慢计算节点问题,同时实现较低的存储规模、降低的编码复杂度和上传成本,与现有方法相比。
引用
@article{arxiv.2501.16298,
title = {Uncoded Download in Lagrange-Coded Elastic Computing with Straggler Tolerance},
author = {Xi Zhong and Samuel Lu and Joerg Kliewer and Mingyue Ji},
journal= {arXiv preprint arXiv:2501.16298},
year = {2025}
}
备注
6 pages, 2 figures