线性耦合：梯度下降与镜像下降的终极统一

一阶方法在大规模机器学习中起着核心作用。尽管存在许多变体，每种都适用于特定问题，但几乎所有此类方法从根本上都依赖于两类算法步骤：产生原始进展的梯度下降（gradient descent）和产生对偶进展的镜像下降（mirror descent）。我们观察到梯度下降与镜像下降的性能是互补的，因此可以通过线性耦合（LINEARLY COUPLING）两者来设计更快的算法。我们展示了如何利用线性耦合重构 Nesterov 的加速梯度方法，这比 Nesterov 的原始证明提供了更清晰的解释。我们还通过将线性耦合扩展到 Nesterov 方法无法适用的许多其他场景，讨论了线性耦合的强大能力。