结合Tikhonov正则化与Hessian驱动的几何阻尼的加速梯度法
最优化与控制
2022-04-01 v2
摘要
在Hilbert空间中，针对凸可微优化，我们考虑结合Tikhonov正则化与Hessian驱动阻尼的加速梯度动力学。假设Tikhonov正则化参数随时间趋于无穷而趋于零，这保持了平衡点的性质。Tikhonov正则化项的存在引入了强凸性，该性质在渐近意义上消失。为了利用强凸情形下重球方法的指数收敛速率，我们考虑惯性动力学，其中黏性阻尼系数取为Tikhonov正则化参数平方根的比例，因此也趋于零。此外，该动力学涉及由待最小化函数的Hessian所驱动的几何阻尼，这显著减弱了振荡。在基于Lyapunov分析的适当参数调节下，我们证明轨迹同时具有若干显著性质：它们提供值的快速收敛、梯度向零的快速收敛，以及对最小范数极小化子的强收敛。本研究扩展了作者先前的一篇论文，其中考察了类似问题但未引入Hessian驱动阻尼。
引用
@article{arxiv.2203.05457,
title = {Accelerated gradient methods combining Tikhonov regularization with geometric damping driven by the Hessian},
author = {Hedy Attouch and Aicha Balhag and Zaki Chbani and Hassan Riahi},
journal= {arXiv preprint arXiv:2203.05457},
year = {2022}
}
备注
28 pages, 3 figures