希尔伯特空间中加速方法的隐式正则化
机器学习
2019-12-17 v4 最优化与控制
谱理论
机器学习
摘要
我们研究希尔伯特空间中用于线性最小二乘的加速梯度下降方法的学习性质。我们从相应学习误差界的角度分析了 Nesterov 加速和一种 heavy-ball 变体的隐式正则化性质。我们的结果表明，加速可比梯度下降提供更快的偏差衰减，但也遭受更不稳定的行为。因此，加速一般不能期望相对于梯度下降改善学习精度，而是以更少的计算达到相同精度。我们的理论结果通过数值模拟得到验证。我们的分析基于研究由加速动力学诱导的合适多项式，并将谱技术与集中不等式相结合。
引用
@article{arxiv.1905.13000,
title = {Implicit Regularization of Accelerated Methods in Hilbert Spaces},
author = {Nicolò Pagliana and Lorenzo Rosasco},
journal= {arXiv preprint arXiv:1905.13000},
year = {2019}
}