平均化重球法
最优化与控制
2021-11-11 v1
摘要
重球法（HB）以其实现简单和实际高效而著称。然而，与其他动量法一样，它具有非单调行为，并且在最优参数下，该方法会受到所谓峰值效应的影响。为解决此问题，本文我们考虑重球法的一种平均化版本（AHB）。我们证明，对于二次问题，AHB 相对于解的最大偏差小于 HB。此外，对于一般的凸函数和强凸函数，我们证明了 AHB 及其加权版本的全局收敛的非加速速率。我们进行了若干关于最小化二次和非二次函数的数值实验，以展示对 HB 使用平均化的优势。
引用
@article{arxiv.2111.05430,
title = {Averaged Heavy-Ball Method},
author = {Marina Danilova and Grigory Malinovsky},
journal= {arXiv preprint arXiv:2111.05430},
year = {2021}
}
备注
30 pages, 6 figures