关于梯度下降的平均与外推

本文研究了在光滑凸优化中对梯度下降迭代序列进行平均以及更一般的外推的效果。在运行该方法后，可以报告迭代序列的凸组合（平均）或通用组合（外推），而不是报告最终迭代。对于几种常见的步长序列，包括最近开发的加速周期性长步长方案，我们表明平均无法改善梯度下降的最坏情况性能，事实上，它严格劣于直接返回最后一次迭代。相比之下，我们证明了一种概念简单且计算成本低廉的外推方案能严格提高最坏情况收敛率：当在原点初始化时，报告 $(1+1/\sqrt{16N\log(N)})x_N$ 而非 $x_N$，其改善最佳可能最坏情况性能的幅度等同于额外执行 $O(\sqrt{N/\log(N)})$ 步梯度下降。我们对最佳可能收敛保证的分析和表征借助了计算机辅助的性能估计问题。数值上，我们发现此类简单外推对于一系列梯度方法具有类似（微小）的益处。