带模型的原始对偶快速梯度法

本文中我们考虑将函数的 $(\delta, L)$-模型概念用于优化任务，其中在求解原始问题时需要恢复对偶问题的解。$(\delta, L)$-模型概念基于 Devolder-Glineur-Nesterov 提出的 $(\delta, L)$-预言机概念，作者们利用带有加性噪声 $\delta$ 的凸二次函数作为上界来近似函数。他们甚至对 nonsmooth 函数也成功得到了带噪声的凸二次上界。$(\delta, L)$-模型概念延续该思想，在上界中使用更复杂的凸函数替代凸二次函数。能够恢复对偶问题的解在不同问题中带来很大益处，例如某些情况下在原始问题中寻找解快于在对偶问题中寻找解。需注意原始对偶方法已被充分研究，但通常每类优化问题有其自身的原始对偶方法。我们的目标是开发一种能在不同优化问题类中求解的方法。这通过运用 $(\delta, L)$-模型概念及我们方法的自适应结构得以实现。据此，我们开发了带 $(\delta, L)$-模型的原始对偶自适应梯度法和快速梯度法，并证明了方法的收敛速率，且对某些优化问题类该速率是最优的。主要思想如下：我们利用 $(\delta, L)$-模型概念对原始问题的近似求对偶解。求解近似问题容易得多，但必须在方法的每步中进行，从而实现了“分而治之”的原则。