MindFlayer SGD：在异构且随机工作计算时间下的高效并行SGD
最优化与控制
2025-06-16 v2 分布式、并行与集群计算
机器学习
机器学习
摘要
我们研究了在多个并行工作者能够计算随机梯度的分布式设置下，最小化光滑非凸函数期望的问题。此背景下的一个显著挑战是存在任意异构且随机的计算时间，这会严重损害现有并行随机梯度下降（SGD）方法的性能。虽然一些并行SGD算法在确定性但异构的延迟下实现最佳性能，但其效果在计算时间为随机时会下降——这种情形在其设计中并未明确考虑。为弥合这一差距，我们引入MindFlayer SGD，这是一种专为处理随机且异构计算时间而设计的新型并行SGD方法。通过理论分析和实证评估，我们展示MindFlayer SGD 在各类基线方法中始终表现优异，尤其是在具有重尾噪声的环境中。我们的结果凸显了其鲁棒性和可扩展性，使其成为大规模分布式学习任务的有力选择。
引用
@article{arxiv.2410.04285,
title = {MindFlayer SGD: Efficient Parallel SGD in the Presence of Heterogeneous and Random Worker Compute Times},
author = {Artavazd Maranjyan and Omar Shaikh Omar and Peter Richtárik},
journal= {arXiv preprint arXiv:2410.04285},
year = {2025}
}