带随机重排随机外梯度法：变分不等式的改进收敛性
最优化与控制
2024-10-11 v2 计算机科学与博弈论
机器学习
机器学习
摘要
随机外梯度（SEG）方法是解决出现在各种机器学习任务中的有限和最小 - 最大优化及变分不等式问题（VIPs）最流行的算法之一。然而，现有的 SEG 收敛性分析集中在其有放回变体上，而该方法的实际实现则是随机重排分量并顺序使用它们。与经过充分研究的有放回变体不同，带随机重排的 SEG（SEG-RR）缺乏已建立的理论保证。在本工作中，我们为三类 VIPs 提供了 SEG-RR 的收敛性分析：(i) 强单调，(ii) 仿射，以及 (iii) 单调。我们推导了 SEG-RR 实现比均匀有放回采样 SEG 更快收敛速率的条件。在单调设定下，我们对 SEG-RR 的分析保证了收敛到任意精度，而无需经典有放回 SEG 所需的大批量尺寸这一严格要求。作为我们结果的副产品，我们为 Shuffle Once SEG（仅在算法开始时重排数据）和增量外梯度法（不重排数据）提供了收敛性保证。我们辅以实验，实证验证了 SEG-RR 优于经典有放回采样 SEG 的性能。
引用
@article{arxiv.2403.07148,
title = {Stochastic Extragradient with Random Reshuffling: Improved Convergence for Variational Inequalities},
author = {Konstantinos Emmanouilidis and René Vidal and Nicolas Loizou},
journal= {arXiv preprint arXiv:2403.07148},
year = {2024}
}
备注
AISTATS 2024. Changes in v2: Some minor typos were fixed; Statement and proof of Theorem 2.3 were updated and improved