局部几何与批量大小对非凸问题随机梯度下降的影响
最优化与控制
2018-05-08 v2 统计计算
机器学习
摘要
在机器学习中非凸优化问题的若干实验报告中，观察到随机梯度下降 (SGD) 与更确定的方法相比偏好具有平坦盆地的极小化子，然而对此现象缺乏严格理解。事实上，此类工作的缺失导致了一种未经验证但被广泛接受的随机机制，描述为何 SGD 偏好更平坦的极小化子而非更尖锐的极小化子。然而，正如我们所证明的，该随机机制未能解释此现象。在此，我们提出一种替代的确定性机制，能够准确解释为何 SGD 偏好平坦极小化子而非尖锐极小化子。我们基于对一类通用随机二次问题的详细分析推导该机制，推广了经典梯度下降的已知结果。最后，我们在两个非凸问题上验证了我们的确定性机制的预测。
引用
@article{arxiv.1709.04718,
title = {The Impact of Local Geometry and Batch Size on Stochastic Gradient Descent for Nonconvex Problems},
author = {Vivak Patel},
journal= {arXiv preprint arXiv:1709.04718},
year = {2018}
}