关于聚合重球法的收敛性分析
最优化与控制
2022-03-07 v1
摘要
动量一阶优化方法是各类优化任务中的主力，例如在深度神经网络训练中。近期，Lucas等人（2019）提出了一种称为聚合重球法（AggHB）的方法，其使用对应于不同动量参数的多个动量向量，并在每次迭代中平均这些向量以计算更新方向。Lucas等人（2019）表明，即使采用大动量参数，AggHB也比经典重球法更稳定，且在实际应用中表现良好。然而，该方法仅针对二次目标函数以及在均匀有界梯度假设下的在线优化任务得到分析，而该假设对许多实际重要问题并不成立。本工作中，我们解决此问题，首次在无额外限制性假设下，针对非凸、凸与强凸情形下的光滑目标函数给出AggHB的收敛分析。我们的复杂度结果与重球法已知最优结果一致。我们还在若干非凸与凸问题上数值说明了AggHB的高效性。
引用
@article{arxiv.2203.02396,
title = {On the Convergence Analysis of Aggregated Heavy-Ball Method},
author = {Marina Danilova},
journal= {arXiv preprint arXiv:2203.02396},
year = {2022}
}
备注
17 pages, 2 figures