重尾噪声下非凸优化的稳定性与泛化性
机器学习
2026-01-28 v1
摘要
经验证据表明，与标准有界梯度方差噪声相比，具有重尾梯度噪声的随机优化更适合描述机器学习模型的训练过程。现有关于该现象的大多数工作集中于优化误差的收敛性，而针对重尾梯度噪声下泛化界的分析仍然有限。在本文中，我们开发了一个通用框架，用于建立重尾噪声下的泛化界。具体来说，我们引入了一个截断论证，在假设有界p阶中心矩（p∈(1,2]）的条件下，基于算法稳定性实现了泛化误差界。基于此框架，我们进一步提供了几种流行随机算法在重尾噪声下的稳定性和泛化性分析，包括裁剪和归一化随机梯度下降法及其小批量和动量变体。
引用
@article{arxiv.2601.19730,
title = {Stability and Generalization of Nonconvex Optimization with Heavy-Tailed Noise},
author = {Hongxu Chen and Ke Wei and Xiaoming Yuan and Luo Luo},
journal= {arXiv preprint arXiv:2601.19730},
year = {2026}
}