Nesterov 加速方法的耗散性理论
最优化与控制
2017-06-15 v1
摘要
在本文中，我们调整控制理论中的耗散性理论概念，以提供对 Nesterov 加速方法的自然理解。我们的理论将严格的收敛速率分析与能量耗散的物理直觉概念联系起来。此外，耗散性允许人们通过求解一个小型半定规划来高效地构造 Lyapunov 函数（数值上或解析上）。使用新颖的供给率函数，我们展示了如何恢复 Nesterov 方法的已知速率界限，并将该方法推广以在多种设定下验证线性和次线性速率。最后，我们将连续时间版本的耗散性与近期使用常微分方程离散化进行算法分析的工作联系起来。
引用
@article{arxiv.1706.04381,
title = {Dissipativity Theory for Nesterov's Accelerated Method},
author = {Bin Hu and Laurent Lessard},
journal= {arXiv preprint arXiv:1706.04381},
year = {2017}
}
备注
to appear in the International Conference on Machine Learning 2017