Nesterov 与 Polyak 固定步长方法在凸二次函数上的迭代复杂度

本注记考虑 Polyak 的动量法与 Nesterov 的加速梯度法，两者均无线搜索但采用固定步长，应用于严格凸二次函数，假设使用精确梯度且已知 Hessian 矩阵极值特征值的适当上下界。简单的二维例子表明迭代点到最优解的欧氏距离是非单调的。在此背景下，推导了保证欧氏距离缩减至因子 ε 所需迭代次数的显式界。对两种方法，该界在常数因子内是最优的，它补充了早先对动量法的渐近最优结果，并建立了动量法与 Nesterov 加速梯度法的另一联系。