分布式裁剪随机梯度下降在重尾噪声下的高概率收敛性
最优化与控制
2025-06-19 v2
摘要
在本文中，通过一组智能体网络研究分布式优化问题。每个智能体仅能访问其自身目标函数的噪声梯度，并且可以通过网络与其邻居通信。为了处理这个问题，提出了一种分布式裁剪随机梯度下降算法，并研究了该算法的高概率收敛性。现有关于涉及随机梯度的分布式算法的工作仅考虑轻尾噪声。与它们不同，我们研究了重尾设置的情况。在对图连通性施加温和假设的条件下，我们证明了算法在一定裁剪算子下以高概率收敛。最后，提供了一个仿真来展示我们理论结果的有效性。
引用
@article{arxiv.2506.11647,
title = {High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise},
author = {Yuchen Yang and Kaihong Lu and Long Wang},
journal= {arXiv preprint arXiv:2506.11647},
year = {2025}
}