随机化随机梯度下降上升法
机器学习
2021-11-29 v1 最优化与控制
机器学习
摘要
越来越多的机器学习问题，例如现有算法的鲁棒或对抗变体，需要最小化一个本身定义为最大值的损失函数。在（内）最大化问题上执行随机梯度上升（SGA）步循环，随后在（外）最小化上执行 SGD 步，被称为周期随机梯度\textit{下降上升}（ESGDA）。尽管在实践中成功，ESGDA 的理论分析仍具挑战性，对于内循环大小的选择以及内外步长间的相互作用缺乏明确指导。我们提出 RSGDA（随机化 SGDA），一种具有随机循环大小、理论分析更简单的 ESGDA 变体。RSGDA 在非凸最小/强凹最大设定下，附带首个（在 SGDA 算法中）几乎必然收敛速率。RSGDA 可使用保证 SGDA 已知最佳收敛速率的最优循环大小进行参数化。我们在玩具及更大规模问题上测试了 RSGDA，使用分布鲁棒优化与基于最优传输的单细胞数据匹配作为试验台。
引用
@article{arxiv.2111.13162,
title = {Randomized Stochastic Gradient Descent Ascent},
author = {Othmane Sebbouh and Marco Cuturi and Gabriel Peyré},
journal= {arXiv preprint arXiv:2111.13162},
year = {2021}
}