常步长随机梯度下降的收敛诊断
机器学习
2018-02-26 v2 机器学习
统计理论
统计计算
统计理论
摘要
随机优化中的许多迭代过程表现出瞬态阶段和稳态阶段。在瞬态阶段，过程向感兴趣的区域收敛；在稳态阶段，过程在该区域内振荡，通常围绕单点振荡。在本文中，我们开发了一种统计诊断检验，以在常学习率随机梯度下降的背景下检测这种相变。我们提出的理论与实验表明，所提诊断被激活的区域与收敛区域相一致。对于一类损失函数，我们推导了描述该区域的闭式解。最后，我们建议了一种应用：每次检测到稳态时将学习率减半，以加速随机梯度下降的收敛。这导出了一种随机梯度下降的新变体，在许多设置下其表现与 state-of-art 相当。
引用
@article{arxiv.1710.06382,
title = {Convergence diagnostics for stochastic gradient descent with constant step size},
author = {Jerry Chee and Panos Toulis},
journal= {arXiv preprint arXiv:1710.06382},
year = {2018}
}
备注
Accepted to Artificial Intelligence and Statistics, 2018