具有异构计算速度的去中心化无编码存储弹性计算
信息论
2024-03-04 v1 math.IT
摘要
弹性在现代云计算系统中起着重要作用。弹性计算允许在高优先级任务出现时抢占虚拟机(即计算节点),也允许新的虚拟机参与计算。2018 年,Yang 等人引入了编码存储弹性计算(CSEC),利用编码技术解决弹性问题,降低了存储和计算负载需求。然而,由于基于线性编码的编码数据存储,CSEC 仅限于某些类型的计算(例如线性计算)。随后提出了具有异构计算速度的集中式无编码存储弹性计算(CUSEC),它直接将部分数据复制到虚拟机中。在现有所有弹性计算工作中,存储分配是集中式的,意味着在整个计算过程中可能使用的所有虚拟机的数量和身份在存储分配期间是已知的。在本文中,我们考虑具有异构计算速度的去中心化无编码存储弹性计算(DUSEC),其中任何可用的虚拟机都可以加入未被预测的计算,因此不允许在不同虚拟机的存储分配之间进行协调。在 Maddah-Ali 和 Niesen 于编码缓存中最初提出的去中心化存储分配下,我们提出了一种具有闭式最优计算时间的计算方案。我们还在腾讯云平台上通过 MNIST 数据集和 Softmax 回归模型运行了实验,实验结果表明,所提出的 DUSEC 系统在计算时间上接近 CUSEC 系统中最先进的存储分配方案。
引用
@article{arxiv.2403.00585,
title = {Decentralized Uncoded Storage Elastic Computing with Heterogeneous Computation Speeds},
author = {Wenbo Huang and Xudong You and Kai Wan and Robert Caiming Qiu and Mingyue Ji},
journal= {arXiv preprint arXiv:2403.00585},
year = {2024}
}
备注
10 pages, 8 figures, submitted to ISIT2024