Srifty：云上快速且节俭的分布式训练
分布式、并行与集群计算
2022-07-05 v3
摘要
寻找最佳虚拟机（VM）配置是实现更低成本和更高吞吐量的关键，而这两者正是当今基于云的分布式神经网络（NN）训练的主要关切。满足用户约束的最优VM选择需要高效地在庞大搜索空间中导航，同时控制与共享云实例和网络相关的性能方差。在这项工作中，我们在分布式NN训练背景下刻画了该方差，并展示了我们跨广泛实例进行的综合吞吐量与成本效率研究的结果，以剪枝出最优VM搜索空间。利用这些研究的洞见，我们构建了Srifty，一个将运行时剖析与学习得到的性能模型相结合的系统，以准确预测训练性能并找到满足用户约束的最佳VM选择，其潜在地利用异构设置与竞价实例。我们将Srifty集成于PyTorch并在Amazon EC2上评估。我们在EC2上针对超过2K个训练设置进行了Srifty的大规模泛化研究。我们的结果表明，Srifty实现了8%的迭代延迟预测误差，并且相较于现有方案，在复杂真实场景中以满足用户约束的同时提供了显著的吞吐量提升与成本降低。
引用
@article{arxiv.2011.14243,
title = {Srifty: Swift and Thrifty Distributed Training on the Cloud},
author = {Liang Luo and Peter West and Arvind Krishnamurthy and Luis Ceze},
journal= {arXiv preprint arXiv:2011.14243},
year = {2022}
}