带动量的梯度下降通过大弹射找到更平坦的极小值
机器学习
2024-05-30 v3 最优化与控制
机器学习
摘要
尽管带动量（Polyak 动量）的梯度下降在现代机器学习和深度学习中被广泛使用，但对其在训练轨迹上影响的具体理解仍难以捉摸。在这项工作中，我们经验性地表明，对于线性对角网络和非线性神经网络，采用大学习率的动量梯度下降会表现出大弹射，将迭代点推向比梯度下降所找到的平坦得多的极小值。我们假设大弹射是由动量“延长”了自稳定效应（Damian 等人，2023）所致。我们在一个简单玩具示例中为假设提供了理论和经验支持，并为线性对角网络提供了支持假设的经验证据。
引用
@article{arxiv.2311.15051,
title = {Gradient Descent with Polyak's Momentum Finds Flatter Minima via Large Catapults},
author = {Prin Phunyaphibarn and Junghyun Lee and Bohan Wang and Huishuai Zhang and Chulhee Yun},
journal= {arXiv preprint arXiv:2311.15051},
year = {2024}
}
备注
v3: major updates; 25 pages, 17 figures; the first two authors contributed equally. The preliminary version was accepted to the NeurIPS 2023 M3L Workshop (oral) under the title "Large Catapults in Momentum Gradient Descent with Warmup: An Empirical Study."