基于重尾噪声下的非凸去中心化随机双层优化
机器学习
2026-05-26 v2
摘要
现有的去中心化随机优化方法假设下层损失函数为强凸且随机梯度噪声具有有限方差。这些强假设在实际机器学习模型中通常不成立。例如，在语言数据上进行学习通常会导致重尾梯度。为解决这些限制，我们开发了一种针对非凸双层优化问题在重尾噪声下的去中心化随机双层优化算法。具体而言，我们发展了一种不依赖任何裁剪操作的归一化随机方差减少双层梯度下降算法。此外，我们通过创新性地对非凸去中心化双层优化问题下的相互依赖的梯度序列进行上界，建立了其收敛率。据我们所知，这是首个在重尾噪声下拥有严格理论保证的去中心化双层优化算法。大量实验结果确认了我们算法在处理重尾噪声方面的有效性。
引用
@article{arxiv.2509.15543,
title = {Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noise},
author = {Xinwen Zhang and Yihan Zhang and Heng Liang and Hongchang Gao},
journal= {arXiv preprint arXiv:2509.15543},
year = {2026}
}