VFOG：非单调广义方程的方差归约快速乐观梯度方法
最优化与控制
2025-08-26 v1 机器学习
摘要
我们发展了一种新型乐观梯度型算法框架，结合了 Nesterov 加速和方差归约技术，用于求解数据驱动应用中可能非单调算子的广义方程。我们的框架涵盖广泛的随机方差归约方案，包括 mini-batch 以及无偏和偏估计器。我们证明该方法在 Lipschitz 连续性和“共-亚单调性”假设下，以期望意义上以 O(1/k²) 的收敛率收敛于残差平方范数，优于非加速版本提高了 1/k 因子。我们也证明了更快的 o(1/k²) 收敛率，既在期望意义上，也几乎 surely。此外，我们展示了该方法的迭代序列几乎 surely 收敛于问题解。我们通过一般误差界准则展示了本方法的适用性，涵盖 mini-batch 随机估计器以及三种众所周知的控制变量估计器：loopless SVRG、SAGA 和 loopless SARAH，后者三者相较于现有方法获得了显著更好的 oracle 复杂度。我们通过两个数值示例验证了本框架和理论结果。初步结果表明，加速方法相对于其非加速版本表现出有前景的性能。
关键词
引用
@article{arxiv.2508.16791,
title = {VFOG: Variance-Reduced Fast Optimistic Gradient Methods for a Class of Nonmonotone Generalized Equations},
author = {Quoc Tran-Dinh and Nghia Nguyen-Trung},
journal= {arXiv preprint arXiv:2508.16791},
year = {2025}
}
备注
54 pages, 5 figures, and 1 table