带方差缩减的前-后-前随机变分不等式方法
最优化与控制
2019-02-12 v1 机器学习
摘要
我们开发了一种带方差缩减的新型随机算法，用于求解伪单调随机变分不等式。我们的方法基于 Tseng 的前-后-前（FBF）算法，该算法在确定性文献中以作为 Korpelevich 外梯度法在由伪单调、Lipschitz 连续算子所支配的凸闭集上求解变分不等式时的一种有价值替代而著称。Tseng 算法的主要计算优势在于其仅依赖单次投影步和两次独立的随机预言机查询。我们的算法引入了方差缩减机制，并实现了到最优解的几乎必然（a.s.）收敛。据我们所知，这是首个通过每次迭代仅使用单次投影实现此目标的随机前瞻算法。
引用
@article{arxiv.1902.03355,
title = {Forward-backward-forward methods with variance reduction for stochastic variational inequalities},
author = {Radu Ioan Bot and Panayotis Mertikopoulos and Mathias Staudigl and Phan Tu Vuong},
journal= {arXiv preprint arXiv:1902.03355},
year = {2019}
}
备注
34 pages, 11 figures