范式高维非凸问题中基于动量的加速方法的解析研究
无序系统与神经网络
2021-10-29 v4 机器学习
机器学习
摘要
许多机器学习问题中的优化步骤很少依赖原始梯度下降，而使用基于动量的加速方法是常见做法。尽管这些算法被广泛应用于任意损失函数，但其在一般非凸高维景观中的行为仍知之甚少。本工作中，我们利用动力学平均场理论技术，在原型非凸模型——（带尖峰的）矩阵-张量模型中解析描述这些方法的平均动力学。我们导出了一组封闭方程，描述无限维极限下重球动量与 Nesterov 加速的行为。通过对这些方程进行数值积分，我们观察到这些方法加快了动力学，但在带尖峰模型中相对于梯度下降并未改善算法阈值。
引用
@article{arxiv.2102.11755,
title = {Analytical Study of Momentum-Based Acceleration Methods in Paradigmatic High-Dimensional Non-Convex Problems},
author = {Stefano Sarao Mannelli and Pierfrancesco Urbani},
journal= {arXiv preprint arXiv:2102.11755},
year = {2021}
}
备注
To appear in NeurIPS 2021