变分不等式的额外梯度SVRG收敛性：误差界与递增迭代平均
最优化与控制
2024-01-02 v2 计算机科学与博弈论
摘要
我们研究一类满足误差界条件的变分不等式的额外梯度（EG）算法中方差缩减方法的末迭代收敛性。此前，末迭代线性收敛仅在强单调性下已知。我们证明带有SVRG风格方差缩减的EG算法（记为SVRG-EG）在比强单调性弱得多的通用误差界条件下达到末迭代线性收敛。该条件涵盖广泛的一类非强单调问题，例如双人零和纳什均衡计算中常见的双线性鞍点问题。接下来，我们在弱锐度假设下建立SVRG-EG具有改进保证的线性末迭代收敛。此外，受递增迭代平均技术在求解鞍点问题中经验有效性的启发，我们也建立了SVRG-EG结合此类技术的新收敛结果。
引用
@article{arxiv.2306.01796,
title = {Convergence of Extragradient SVRG for Variational Inequalities: Error Bounds and Increasing Iterate Averaging},
author = {Tianlong Nan and Yuan Gao and Christian Kroer},
journal= {arXiv preprint arXiv:2306.01796},
year = {2024}
}
备注
44 pages