复杂度低于 $O(1/\epsilon)$ 的非光滑问题同伦平滑法

在本文中，我们开发了一种新颖的同伦平滑 算法，用于求解一类非光滑问题，该类问题由具有显式 max 结构的非光滑项与一个光滑项或其近端映射易于计算的简单非光滑项组成。在没有任何强凸性假设的情况下，求解此类非光滑优化问题的已知最佳迭代复杂度为 $O(1/\epsilon)$。在本文中，我们将证明所提出的 HOPS 算法实现了 $\widetilde O(1/\epsilon^{1-\theta})$\footnote{$\widetilde O()$ 抑制了对数因子。} 的更低迭代复杂度，其中 $\theta\in(0,1]$ 描述了目标函数在最优解附近的局部锐度。据我们所知，这是迄今为止在不假设强凸性的情况下，针对所考虑的非光滑优化问题所取得的最低迭代复杂度。HOPS 算法采用了 Nesterov 平滑技术与 Nesterov 加速梯度法，并分阶段运行，以分阶段的方式逐步减小平滑参数，直到其产生对原始函数足够好的近似。我们证明，对于许多著名的非光滑问题（例如，具有分段线性损失函数与 $\ell_1$ 范数正则化项的经验风险最小化、多面体中寻找一点、锥规划等），HOPS 享有线性收敛性。实验结果验证了 HOTS 与 Nesterov 平滑算法及原始-对偶型一阶方法相比的有效性。