Hölder 误差界条件下的自适应加速梯度收敛方法

近期研究表明，近端梯度法（PG）和带重启的加速梯度法（APG）在比强凸性更弱的条件下，即二次增长条件（QGC），可以享有线性收敛。然而，重启 APG 方法更快的收敛依赖于 QGC 中可能未知的常数来适当地重启 APG，这限制了其适用性。我们通过开发新颖的自适应梯度收敛方法来解决这个问题，即利用近端梯度的幅值作为重启和终止的准则。我们的分析扩展到远超 QGC 的更一般条件，即 Hölder 误差界（HEB）条件。我们开发的关键技术是自适应正则化与条件重启方案的新颖综合，这将先前专注于强凸问题的工作扩展到更广泛的问题族。此外，我们证明了我们的结果在机器学习中具有重要意义和应用：(i) 如果目标函数是强制且半代数的，PG 的收敛速度本质上是 $o(\frac{1}{t})$，其中 $t$ 是总迭代次数；(ii) 如果目标函数由 $\ell_1$、$\ell_\infty$、$\ell_{1,\infty}$ 或 huber 范数正则化以及一个凸光滑分段二次损失（例如平方损失、平方铰链损失和 huber 损失）组成，所提出的算法无需参数，并且无需任何其他假设（例如受限特征值条件）即可享有比 PG 更快的线性收敛。值得注意的是，我们对上述问题的线性收敛结果是全局的而非局部的。据我们所知，这些改进的结果是本文首次展示的。