通过银色步长加速原始梯度下降法

近期研究表明，梯度下降可通过恰当选择步长而无需使用动量即可实现加速。几篇论文提出的开放问题是：这种步长加速现象是否也适用于通过投影或proximal 版本的约束与/或复合凸优化中的梯度下降。我们通过证明银色步长方案在这些设置下同样实现加速收敛速率来回答这个问题。这些速率被推测是在所有步长方案中渐进最优的，且与普通梯度下降的银色收敛速率相匹配，即对于光滑凸优化为 $O(\varepsilon^{- \log_{\rho} 2})$，在强凸情况下为 $O(\kappa^{\log_\rho 2} \log \frac{1}{\varepsilon})$，其中 $\varepsilon$ 为精度、$\kappa$ 为条件数、$\rho = 1 + \sqrt{2}$ 为银比。关键技术洞见是将递归黏合——即变步长梯度下降分析中所依赖的技术——与某种拉普拉斯结构的和平方证书相结合，用于分析原始点更新。