具有一般损失函数的重尾SGD的算法稳定性
机器学习
2023-01-31 v2 机器学习
摘要
随机梯度下降（SGD）中的重尾现象已在若干实证研究中被报道。先前工作的实验证据表明，尾部重性与SGD的泛化行为之间存在强烈关联。为从理论上解释该经验现象，若干工作做出了强拓扑与统计假设，以将泛化误差与重尾相联系。最近，新的泛化界被证明，表明泛化误差与重尾之间呈非单调关系，这与所报道的经验观测更为贴切。尽管这些界在SGD可用重尾随机微分方程（SDE）建模的前提下无需额外拓扑假设，但它们仅适用于简单二次问题。本文延续该研究方向，针对更一般的目標函数类（包括非凸函数）发展了泛化界。我们的方法基于为重尾SDE及其离散化建立Wasserstein稳定性界，再将其转化为泛化界。我们的结果不需要任何非平凡假设；然而，得益于损失函数的普适性，它们对经验观测提供了更多阐释。
引用
@article{arxiv.2301.11885,
title = {Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions},
author = {Anant Raj and Lingjiong Zhu and Mert Gürbüzbalaban and Umut Şimşekli},
journal= {arXiv preprint arXiv:2301.11885},
year = {2023}
}
备注
The first two authors contributed equally to this work