重球法的非单调行为
最优化与控制
2019-01-01 v2
摘要
我们关注二阶稳定线性差分方程的解，并证明其行为可以是非单调的，且根据初始条件表现出峰值效应。该结果被应用于加速无约束优化方法——重球法（Heavy Ball method）的分析。我们解释了该方法在实际应用中发现的非标准行为。此外，这种非单调性使得优化方法中参数的正确选择变得复杂。我们提议通过引入应当单调下降的新 Lyapunov 函数来克服这一困难。利用该函数，该方法在更弱的假设下（例如，缺乏凸性时）建立了收敛性。我们还提出了一些重启技术以加速方法的收敛。
引用
@article{arxiv.1811.00658,
title = {Non-monotone Behavior of the Heavy Ball Method},
author = {Marina Danilova and Anastasiya Kulakova and Boris Polyak},
journal= {arXiv preprint arXiv:1811.00658},
year = {2019}
}