变分不等式中的随机方法：遍历性、偏差与改进

Emmanouil-Vasileios Vlatakis-Gkaragkounis; Angeliki Giannou; Yudong Chen; Qiaomin Xie

变分不等式中的随机方法：遍历性、偏差与改进

机器学习 2023-06-30 v1 机器学习最优化与控制

作者: Emmanouil-Vasileios Vlatakis-Gkaragkounis , Angeliki Giannou , Yudong Chen , Qiaomin Xie

摘要

对于多样机器学习任务中遇到的极小极大优化与变分不等式问题（VIP），随机外梯度（SEG）与随机梯度下降 ascent（SGDA）已成为卓越的算法。SEG/SGDA 的常数步长变体日益流行，具有易于调参、对初始条件快速遗忘等吸引人的优点，但即便在基础双线性模型中，其收敛行为也更为复杂。我们的工作致力于阐明并量化这些算法内在的概率结构。通过将常数步长 SEG/SGDA 重构为时间齐次马尔可夫链，我们建立了首创的大数定律与中心极限定理，表明在广泛的一类单调与非单调 VIP 中，平均迭代以唯一不变分布渐近正态。专门应用于凸-凹极小极大优化时，我们刻画了步长与相对于冯·诺依曼值所诱导偏差之间的关系。最后，我们确立 Richardson-Romberg 外推可改善 VIP 平均迭代对全局解的逼近。我们的概率分析以实验佐证理论发现为支撑，运用了来自优化、马尔可夫链与算子论的技术。

关键词

变分不等式随机外梯度随机梯度下降 ascent 马尔可夫链遍历性偏差 Richardson-Romberg 外推

引用

@article{arxiv.2306.16502,
  title  = {Stochastic Methods in Variational Inequalities: Ergodicity, Bias and Refinements},
  author = {Emmanouil-Vasileios Vlatakis-Gkaragkounis and Angeliki Giannou and Yudong Chen and Qiaomin Xie},
  journal= {arXiv preprint arXiv:2306.16502},
  year   = {2023}
}

备注

37 pages, 6 main figures

变分不等式中的随机方法：遍历性、偏差与改进

摘要

关键词

引用

备注

相关论文