用于自适应掉队者缓解的松弛压缩编码计算

在当今基于云的平台中执行分布式计算时，计算节点间的执行速度差异会显著降低性能并造成如掉队者（stragglers）之类的瓶颈。编码计算技术利用编码理论注入计算冗余以缓解分布式计算中的掉队者。本文提出一种称为松弛压缩编码计算（Slack Squeeze Coded Computation, $S^2C^2$）的编码计算动态工作负载分配策略。$S^2C^2$ 通过依据各节点的速度高效地为所有快、慢节点分配工作，且无需重新分发数据，从而压缩编码计算框架中内置的计算松弛（即开销）。我们实现了一种基于 LSTM 的速度预测算法以预测计算节点的速度。我们在线性代数算法、梯度下降、图排序及图滤波算法上评估了 $S^2C^2$。结果表明，与任务复制和编码计算相比，$S^2C^2$ 使总计算延迟降低了 19% 至 39%。我们进一步展示了 $S^2C^2$ 如何可应用于矩阵-向量乘法之外。