复合问题的非单调高阶Taylor逼近方法
最优化与控制
2025-03-04 v1
摘要
我们研究复合优化问题,其中目标函数的光滑部分为 p 次连续光滑,p ≥ 1 为整数。高阶方法因能加快收敛速度而被证明在求解此类问题中有效。这些方法通常需要或隐式保证目标函数在迭代过程中单调递减。维持这种单调性通常需要目标函数光滑部分的 p 次导数全局 Lipschitz 连续,或生成的迭代序列保持有界。本文提出了一种用于复合问题的非单调高阶Taylor逼近(NHOTA)方法。该方法在保持传统高阶方法相同的全局收敛性和收敛速率的同时,消除了全局 Lipschitz 连续性假设、严格下降条件或迭代序列显式有界性的需求。具体而言,对于非凸复合问题,我们推导了到平稳点的全局收敛速率为 O(k^{-p/(p+1)}),其中 k 为迭代计数器。此外,当目标函数满足 Kurdyka-{\L}ojasiewicz (KL) 属性时,我们获得的收敛速率取决于 KL 参数。对于凸复合问题,本方法在函数值上的收敛速率为 O(k^{-p})。最后,针对非凸相位检索问题的初步数值实验表明了所提方法的前景性。
引用
@article{arxiv.2503.01182,
title = {Nonmonotone higher-order Taylor approximation methods for composite problems},
author = {Yassine Nabou},
journal= {arXiv preprint arXiv:2503.01182},
year = {2025}
}