最小化光滑强凸函数的条件梯度类方法的下界

本文考虑条件梯度方法。这类方法使用线性最小化预言机，对于给定的向量 $p \in \mathbb{R}^n$，计算子问题 $$\arg \min_{x\in X}{\langle p,x \rangle}$$ 的解。有多种条件梯度方法在强凸情形下具有线性收敛速率。然而，在所有这些方法中，问题的维度都包含在收敛速率中，而在现代应用中维度可能非常大。本文证明了在强凸情形下，条件梯度方法的最佳收敛速率对问题维度 $n$ 的依赖为 $\widetilde {\Omega} (\sqrt {n})$。因此，条件梯度方法在求解大维度强凸优化问题时可能效率低下。此外，本文还考虑了条件梯度方法在二次型最小化问题中的应用。Frank-Wolfe方法在单纯形上凸情形下求解二次优化问题（PageRank）的有效性已被证明。本工作表明，由于这类方法的收敛速率中含有维度，使用条件梯度方法求解强凸情形下的二次型最小化问题是低效的。因此，我们考虑了收缩条件梯度（Shrinking Conditional Gradient）方法。它与条件梯度方法的区别在于使用了改进的线性最小化预言机。该算法的收敛速率不依赖于维度。利用收缩条件梯度方法，得到了在 $\infty$-球上求解二次型最小化问题的复杂度。所得方法的估计与梯度法的复杂度相当。