加速梯度法的自适应重启

本文展示了一种简单的启发式自适应重启技术，该技术可以显著提高加速梯度法的收敛速度。对该技术的分析依赖于这样一个观察：这些方法根据所施加的动量大小表现出两种行为模式。在我们称之为“高动量”的区域内，加速梯度法生成的迭代点表现出周期性行为，其周期与目标函数的局部条件数的平方根成正比。这启发了一种重启技术：每当观察到周期性行为时，我们就重置动量。我们提供的分析表明，在许多情况下，自适应重启使我们能够在无需事先了解函数参数的情况下恢复最优收敛速率。