基于收敛诊断的随机梯度下降步长
机器学习
2020-07-02 v1 最优化与控制
机器学习
摘要
常数步长随机梯度下降表现出两个阶段：迭代快速向最优解前进的瞬态阶段，以及迭代在最优解附近振荡的平稳阶段。在本文中，我们表明高效检测这一转变并适当减小步长可带来快速收敛速率。我们分析了 Pflug (1983) 提出的基于连续随机梯度内积的经典统计检验。即使在目标函数为二次型的简单情形，我们也表明该检验无法给出恰当的收敛诊断。我们随后提出一种新颖且简单的统计过程，可准确检测平稳性，并提供了在合成与真实世界数据集上展现最先进性能的实验结果。
引用
@article{arxiv.2007.00534,
title = {On Convergence-Diagnostic based Step Sizes for Stochastic Gradient Descent},
author = {Scott Pesme and Aymeric Dieuleveut and Nicolas Flammarion},
journal= {arXiv preprint arXiv:2007.00534},
year = {2020}
}