理解带指数移动平均的 SGD：线性回归中的案例研究
机器学习
2025-02-21 v1 最优化与控制
机器学习
摘要
指数移动平均 (EMA) 最近在训练现代深度学习模型,尤其是基于扩散的生成模型时获得了广泛关注。然而,关于 EMA 有效性的理论结果仍寥寥无几。本文为更好地理解 EMA,建立了针对高维线性回归的在线 SGD with EMA 的风险界限,这是最简单的过参数化学习任务之一,与神经网络在某些方面存在相似性。我们的结果表明:(i) 采用 EMA 的 SGD 的方差误差始终小于不采用 EMA 的 SGD;以及 (ii) 与从一开始就进行迭代平均的 SGD 不同,采用 EMA 的 SGD 的偏差误差在数据协方差矩阵的每个特征子空间中以指数方式衰减。此外,我们发展了适用于广泛类平均方案分析的证明技术。
引用
@article{arxiv.2502.14123,
title = {Understanding SGD with Exponential Moving Average: A Case Study in Linear Regression},
author = {Xuheng Li and Quanquan Gu},
journal= {arXiv preprint arXiv:2502.14123},
year = {2025}
}
备注
34 pages, 4 figures