中文

带函数约束的随机变分不等式问题的一阶方法

最优化与控制 2024-05-27 v3 机器学习

摘要

单调变分不等式(VI)是一个通用模型,在各类工程和科学领域有重要应用。在许多情况下,VI 问题伴随可由数据驱动的函数约束,使得通常的投影算子难以计算。本文针对光滑或非光滑设定下、算子和约束可能随机的函数约束变分不等式(FCVI)问题,提出了新的一阶方法。我们引入了 AdOpEx 方法,该方法在光滑确定性设定下对 FCVI 的 KKT 算子进行算子外推。由于该算子在拉格朗日乘子上非一致 Lipschitz 连续,我们采用自适应双时间尺度算法,得到有界乘子并实现最优 O(1/T)O(1/T) 收敛速率。对于非光滑和随机 VI,我们对 AdOpEx 方法进行改进,提出一种新颖的 P-OpEx 方法,采用部分外推;当算子和约束均为随机或非光滑时,其收敛速率为 O(1/T)O(1/\sqrt{T})。该方法对函数约束的噪声和 Lipschitz 常数具有次优依赖。我们提出一种约束外推方法,导出 OpConEx 方法,将依赖关系改善一个数量级。我们所有算法均可轻松推广到带耦合原始与对偶变量函数约束的鞍点问题,并保持相同复杂度结果。据我们所知,我们所有的复杂度结果在文献中均为首次。

关键词

引用

@article{arxiv.2304.04778,
  title  = {First-order methods for Stochastic Variational Inequality problems with Function Constraints},
  author = {Digvijay Boob and Qi Deng and Mohammad Khalafi},
  journal= {arXiv preprint arXiv:2304.04778},
  year   = {2024}
}