用于局部 Lipschitz 光滑目标函数的预条件加速梯度下降法及其在非线性偏微分方程求解中的应用
数值分析
2021-02-03 v2 数值分析
最优化与控制
摘要
我们为 Nesterov 加速梯度下降法 (AGD) 在广泛一类偏微分方程 (PDEs) 解逼近中的应用建立了理论基础。这是通过证明当其预条件版本 (PAGD) 应用于最小化局部 Lipschitz 光滑、强凸目标泛函时不变集的存在性与指数收敛速率来实现的。我们引入一个内置预条件的二阶常微分方程 (ODE)，并证明 PAGD 是该 ODE 的显式时间离散化，其能量稳定性需要自然的时间步长限制。在连续时间层面，我们利用简单的能量论证证明了 ODE 解向其稳态的指数收敛。在离散层面，假设上述步长限制，我们证明了不变集的存在性，并通过模仿连续层面的能量论证与收敛性，导出了 PAGD 格式相匹配的指数收敛速率。PAGD 方法在数值 PDE 中的应用通过某些非线性椭圆型 PDE 结合伪谱方法进行空间离散得以展示，并进行了若干数值实验。结果证实了 PAGD 方法的全局几何且与网格尺寸无关的收敛性，其加速速率优于预条件梯度下降 (PGD) 方法。
引用
@article{arxiv.2006.06732,
title = {Preconditioned accelerated gradient descent methods for locally Lipschitz smooth objectives with applications to the solution of nonlinear PDEs},
author = {Jea-Hyun Park and Abner J. Salgado and Steven M. Wise},
journal= {arXiv preprint arXiv:2006.06732},
year = {2021}
}