大批量训练与尖锐极小值：基于Fokker-Planck方程的视角
机器学习
2021-12-03 v1 统计理论
统计理论
摘要
我们研究随机梯度下降（SGD）动态轨迹的统计性质。我们将小批量SGD和动量SGD近似为随机微分方程（SDEs）。我们利用SDE的连续公式和Fokker-Planck方程理论，发展关于逃逸现象以及与大批量和尖锐极小值关系的新结果。特别地，我们发现随机过程解在渐近情形下倾向于收敛到更平坦的极小值，而与批量大小无关。然而，收敛速率被严格证明依赖于批量大小。这些结果在各种数据集和模型上进行了实证验证。
引用
@article{arxiv.2112.00987,
title = {On Large Batch Training and Sharp Minima: A Fokker-Planck Perspective},
author = {Xiaowu Dai and Yuhua Zhu},
journal= {arXiv preprint arXiv:2112.00987},
year = {2021}
}