求解分散随机双正则非凸强凹极小极大问题的方差缩减加速方法

本文考虑带有原变量与对偶变量上非光滑正则化项的分散随机非凸强凹（NCSC）极小极大问题，其中 $m$ 个计算智能体通过网络点对点通信进行协作。我们考虑耦合函数为期望形式或有限和形式，且双正则项为分别作用于原变量与对偶变量的凸函数。我们的算法框架引入拉格朗日乘子以消除对偶变量上的共识约束。将其与方差缩减（VR）技术结合，我们所提的 VRLM 方法在每次迭代仅与单个邻居通信的情况下，能在一般随机设定下（具有大批量或小批量 VR 选项）达到 $\mathcal{O}(\kappa^3\varepsilon^{-3})$ 的样本复杂度，其中 $\kappa$ 为问题的条件数，$\varepsilon$ 为所需解精度。采用大批量 VR 时，我们还可额外达到 $\mathcal{O}(\kappa^2\varepsilon^{-2})$ 的通信复杂度。在特殊的有限和设定下，我们采用大批量 VR 的方法可达到 $\mathcal{O}(n + \sqrt{n} \kappa^2\varepsilon^{-2})$ 的样本复杂度与 $\mathcal{O}(\kappa^2\varepsilon^{-2})$ 的通信复杂度，其中 $n$ 为有限和中的分量数。所有复杂度结果均匹配现有少数几种方法在求解我们所考虑问题的特殊情形时达到的已知最优结果。据我们所知，这是首个针对分散随机设定下原变量与对偶变量均带一般凸非光滑正则器的 NCSC 极小极大问题提供收敛保证的工作。我们在两个机器学习问题上进行了数值实验。我们的代码可从 https://github.com/RPI-OPT/VRLM 下载。