将重球型动量嵌入估计序列
最优化与控制
2021-11-02 v4
摘要
我们提出了一种求解光滑无约束优化问题的新型加速基于梯度的方法。目标是将重球型动量嵌入快速梯度法（FGM）中。为此，我们设计了对估计序列的推广，其允许编码关于代价函数的任何形式的信息，以有助于进一步加速最小化过程。在黑盒框架下，我们提出了一种广义估计序列的构造，这是通过利用先前构造的估计函数的历史得到的。从效率估计的角度看，我们证明了所提方法的迭代次数下界为 。我们的理论结果进一步由在各种优化问题（通常为信号处理中所处理的问题）上的大量数值实验所证实。我们利用合成和真实世界数据集，从减小到最优解的距离以及减小梯度范数的角度，证明了所提方法的效率。
引用
@article{arxiv.2008.07979,
title = {Embedding a Heavy-Ball type of Momentum into the Estimating Sequences},
author = {Endrit Dosti and Sergiy A. Vorobyov and Themistoklis Charalambous},
journal= {arXiv preprint arXiv:2008.07979},
year = {2021}
}