惯性及 Hessian 驱动阻尼的一阶优化方法中扰动的影响
最优化与控制
2022-03-18 v2
摘要
具有粘性与 Hessian 驱动阻尼的二阶连续时间耗散动力系统，已启发了求解凸优化问题的有效一阶算法。在保留 Nesterov 型加速的快速收敛特性的同时，Hessian 驱动阻尼可显著衰减振荡。为研究这些算法相对于扰动的稳定性，我们分析了当梯度计算受到外生加性误差影响时相应连续系统的行为。我们对两类系统（具有隐式与显式 Hessian 驱动阻尼的系统）的渐近行为提供了定量分析。我们考虑定义在实 Hilbert 空间上的凸、强凸及非光滑目标函数，并表明依据公式的不同，对扰动的不同可积性条件足以维持系统的收敛速率。我们强调了隐式与显式 Hessian 阻尼之间的差异，尤其指出隐式情形中对目标函数与扰动所作的假设比显式情形更为严格。
引用
@article{arxiv.2106.16159,
title = {On the effect of perturbations in first-order optimization methods with inertia and Hessian driven damping},
author = {Hedy Attouch and Jalal Fadili and Vyacheslav Kungurtsev},
journal= {arXiv preprint arXiv:2106.16159},
year = {2022}
}