具有减少投影和改进速率的凸约束优化丰富理论

本文关注凸约束优化问题，其中解受凸不等式约束。特别是，我们旨在挑战那些投影到约束域和在不等式约束下进行线性优化均耗时的问题，这使得投影梯度法和条件梯度法（即 Frank-Wolfe 算法）代价高昂。在本文中，我们在约束函数的特定正则性条件下，开发了针对光滑和非光滑优化的投影减少优化算法，并具有改进的收敛速率。我们首先提出了仅含一次投影的通用优化理论。将其应用于仅含一次投影的光滑优化，可得 $O(1/\epsilon)$ 的迭代复杂度，这优于此前为非光滑优化建立的 $O(1/\epsilon^2)$ 迭代复杂度，并且在强凸性下可进一步降低。随后，我们引入了局部误差界条件，并以对数数量的投影为代价，开发了针对非强凸优化的更快算法。特别是，对于非光滑优化，我们实现了 $\widetilde O(1/\epsilon^{2(1-\theta)})$ 的迭代复杂度；对于光滑优化，实现了 $\widetilde O(1/\epsilon^{1-\theta})$ 的迭代复杂度，其中出现在局部误差界条件中的 $\theta\in(0,1]$ 刻画了最优解附近的函数局部增长率。在求解约束 $\ell_1$ 最小化问题和正定约束距离度量学习问题中的新颖应用表明，所提出的算法相较于以往算法实现了显著的加速。