利用曲率信息加速增量梯度优化

本文研究了一种通过利用\emph{曲率}信息来加速增量聚合梯度（{\sf IAG}）方法的技术，用于求解强凸有限和优化问题。这些感兴趣的优化问题出现在大规模学习应用中。我们的技术利用曲率辅助的梯度跟踪步骤，使用 Hessian 信息增量地产生准确的梯度估计。我们提出并分析了两种利用该新技术的方法：曲率辅助 IAG（{\sf CIAG}）方法和加速 CIAG（{\sf A-CIAG}）方法，它们分别类似于梯度方法和 Nesterov 加速梯度方法。设 $\kappa$ 为目标函数的条件数，我们证明了 {\sf CIAG} 方法的 $R$ 线性收敛率为 $1 - \frac{4c_0 \kappa}{(\kappa+1)^2}$，以及 {\sf A-CIAG} 方法的 $R$ 线性收敛率为 $1 - \sqrt{\frac{c_1}{2\kappa}}$，其中 $c_0,c_1 \leq 1$ 为与初始点与最优解之间距离成反比的常数。当初始迭代点接近最优解时，$R$ 线性收敛率与梯度和加速梯度方法相匹配，尽管 {\sf CIAG} 和 {\sf A-CIAG} 在增量设置下运行且计算复杂度严格更低。数值实验证实了我们的发现。本文使用的源代码可在 \url{http://github.com/hoitowai/ciag/} 找到。