在光滑凸凹鞍点问题中末次迭代慢于平均迭代
机器学习
2020-07-08 v2 最优化与控制
机器学习
摘要
本文研究光滑凸凹鞍点问题。具体而言，我们分析外梯度（EG）算法的末次迭代收敛性质。众所周知，EG 的遍历（平均）迭代以 的速率收敛（Nemirovski, 2004）。本文中，我们证明 EG 的末次迭代以 的速率收敛。据我们所知，这是首篇为光滑凸凹鞍点问题中 EG 的末次迭代提供收敛速率保证的论文。此外，我们通过证明末次迭代的 下界表明该速率是紧的。该下界因此展示了光滑凸凹鞍点问题中遍历迭代与末次迭代收敛速率的二次分离。
引用
@article{arxiv.2002.00057,
title = {Last Iterate is Slower than Averaged Iterate in Smooth Convex-Concave Saddle Point Problems},
author = {Noah Golowich and Sarath Pattathil and Constantinos Daskalakis and Asuman Ozdaglar},
journal= {arXiv preprint arXiv:2002.00057},
year = {2020}
}
备注
27 pages