从线搜索视角对SGD的实证解释
机器学习
2022-11-23 v3 最优化与控制
摘要
深度学习中的优化主要受制于模糊的直觉与较强的假设，对于这些方法在实践中的运作机理与原因理解有限。为阐明此问题，我们的工作通过从线搜索视角对SGD所采取的轨迹进行实证分析，提供了对SGD行为的一些更深理解。具体而言，我们对在CIFAR-10子集上训练的常用模型沿SGD轨迹的全批量损失进行了代价高昂的定量分析。我们的核心结果包括：沿更新步方向直线上的全批量损失高度呈抛物线形。进一步，我们表明存在一个学习率，使得SGD在该学习率下总是对全批量损失执行几乎精确的线搜索。最后，我们提供了一个不同的视角，解释为何增大批量大小与以相同因子减小学习率具有几乎相同的效果。
引用
@article{arxiv.2103.17132,
title = {Empirically explaining SGD from a line search perspective},
author = {Maximus Mutschler and Andreas Zell},
journal= {arXiv preprint arXiv:2103.17132},
year = {2022}
}
备注
Empirical Analysis , Optimization, Line Search, SGD