线性回归中使用权重平均的 SGD 的简化分析
机器学习
2025-06-19 v1 最优化与控制
机器学习
摘要
从理论上理解过参数化模型中的随机梯度下降 (SGD) 已导致数种在当今实践中广泛使用的优化算法的开发。最近的工作由 \citet{zou2021benign} 提出，基于偏差-方差分解，对使用恒定学习率的线性回归中的 SGD 提供了尖锐的收敛速率，无论是否进行尾部迭代平均。本文中，我们提供一种简化的分析，恢复了 \citep{zou2021benign} 中所述的相同偏差和方差界，基于简单线性代数工具，绕过对正半定矩阵上算子操作的要求。我们认为本工作使 SGD 在线性回归上的分析变得极其易于获取，并且将有助于进一步分析 mini-batch 和学习率调度，从而改进真实模型的训练。
引用
@article{arxiv.2506.15535,
title = {A Simplified Analysis of SGD for Linear Regression with Weight Averaging},
author = {Alexandru Meterez and Depen Morwani and Costin-Andrei Oncescu and Jingfeng Wu and Cengiz Pehlevan and Sham Kakade},
journal= {arXiv preprint arXiv:2506.15535},
year = {2025}
}