最小化凸函数与光滑映射复合函数的效率

我们考虑用于最小化一个凸函数与一个 Lipschitz 凸函数和光滑映射的复合函数之和的算法的全局效率。我们所依赖的基本算法是 prox-linear 方法，该方法在每次迭代中通过线性化光滑映射来构建一个正则化子问题。当子问题被精确求解时，该方法的效率为 $\mathcal{O}(\varepsilon^{-2})$，类似于光滑最小化中的梯度下降。我们表明，当子问题只能由一阶方法求解时，将平滑化、prox-linear 方法和快速梯度方案简单结合可得到复杂度为 $\widetilde{\mathcal{O}}(\varepsilon^{-3})$ 的算法。该技术很容易推广到最小化 $m$ 个复合函数的平均，其期望复杂度为 $\widetilde{\mathcal{O}}(m/\varepsilon^{2}+\sqrt{m}/\varepsilon^{3})$。我们以在凸性存在时自动加速的惯性 prox-linear 方法结束本文。