无放回采样在有限和极小极大优化中带来更快收敛速率
最优化与控制
2022-10-11 v2 计算机科学与博弈论
机器学习
机器学习
摘要
我们分析了光滑有限和极小极大优化中随机梯度算法的收敛速率，并表明对于许多此类算法，与有放回采样相比，无放回采样数据点在带来更快收敛。对于光滑且强凸-强凹设定，我们考虑梯度下降上升和近端点法，并对两种流行的无放回采样策略给出统一分析，即每个 epoch 打乱数据的随机重排（RR）和仅在开始时打乱的单次重排（SO）。我们获得了 RR 和 SO 的紧收敛速率，并证明这些策略比均匀采样带来更快收敛。超越凸性，我们对满足双侧 Polyak-{\L}ojasiewicz 不等式的光滑非凸-非凹目标获得类似结果。最后，我们证明我们的技术足够通用，可分析数据排序攻击的影响，即对手操纵提供给优化器的数据点顺序。我们的分析也恢复了增量梯度法（完全不对数据点重排）的紧速率。
引用
@article{arxiv.2206.02953,
title = {Sampling without Replacement Leads to Faster Rates in Finite-Sum Minimax Optimization},
author = {Aniket Das and Bernhard Schölkopf and Michael Muehlebach},
journal= {arXiv preprint arXiv:2206.02953},
year = {2022}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022)