加速梯度流：风险、稳定性与隐式正则化
机器学习
2022-01-21 v1 机器学习
最优化与控制
摘要
加速与动量在现代机器学习与优化应用中是事实上的标准，然而关于隐式正则化的工作大多聚焦于未加速方法。在本文中，我们研究了 Nesterov 加速梯度法与 Polyak 重球法在应用于最小二乘回归时所生成迭代的统计风险，并建立了其与显式罚函数之间的若干联系。我们在连续时间下开展分析，从而能够作出比既往工作更精确的论述，并揭示了早停、稳定性与损失函数曲率之间的复杂交互。
引用
@article{arxiv.2201.08311,
title = {Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization},
author = {Yue Sheng and Alnur Ali},
journal= {arXiv preprint arXiv:2201.08311},
year = {2022}
}