采用平方和Taylor模型的高阶正则化方法的全局收敛性

在自适应正则化框架内采用基于Taylor的局部模型（阶数$p\ge 3$）的高阶张量方法最近被提出用于解决凸和非凸优化问题。与牛顿法相比，它们已被证明具有更优甚至是最优的最坏情况全局收敛速率和局部收敛速率。寻找严格且高效的技术来最小化Taylor多项式子问题仍然是这些算法面临的一项挑战。Ahmadi等人最近引入了一种基于平方和（SoS）重构的张量方法，使得其方法中的每个Taylor多项式子问题都可以使用半定规划（SDP）进行易处理的最小化；然而，其方法对于一般非凸问题的全局收敛性和复杂度尚未得到解决。本文引入了一种算法框架，将平方和Taylor模型与自适应正则化技术相结合，用于非凸光滑优化问题。每次迭代最小化一个SoS Taylor模型，每次迭代提供多项式成本。对于一般的非凸函数，最坏情况评估复杂度界限为$\mathcal{O}(\epsilon^{-2})$；而对于强凸函数，建立了改进的$\mathcal{O}(\epsilon^{-\frac{1}{p}})$评估复杂度界限。据我们所知，这是首次对非凸光滑优化中具有易处理高阶子问题的自适应正则化算法进行全局速率分析，为进一步的改进开辟了道路。