通过变步长线性多步法对Nesterov加速的一种新解释
数值分析
2024-04-17 v1 数值分析
摘要
当将Nesterov加速梯度（NAG）方法视为梯度流的线性多步（LM）法时，可以以一种新颖的方式理解连续优化中的Nesterov加速。尽管针对强凸函数的NAG方法（NAG-sc）已得到充分讨论，但针对-光滑凸函数的NAG方法（NAG-c）尚未被充分探讨。为填补这一空白，我们证明现有的NAG-c方法可被解释为梯度流的一种变步长LM（VLM）法。令人惊讶的是，该VLM允许线性增加的步长，这解释了凸情况下的加速现象。在此，我们引入了一种分析VLM绝对稳定性的新技术。随后，我们证明了NAG-c在某一特定自然类别的VLM中是最优的。最后，我们通过优化VLM中的参数，为病态问题构建了一个新的更广泛的VLM类别。根据数值实验，所提方法在病态情况下优于NAG-c方法。这些结果表明，从数值分析角度看待NAG是一个有前景的工作环境，而考虑更广泛的VLM类别可能会进一步揭示新的方法。
引用
@article{arxiv.2404.10238,
title = {A novel interpretation of Nesterov's acceleration via variable step-size linear multistep methods},
author = {Ryota Nozawa and Shun Sato and Takayasu Matsuo},
journal= {arXiv preprint arXiv:2404.10238},
year = {2024}
}