一类结构化非线性规划的随机非单调块近端梯度法

我们提出了一种随机非单调块近端梯度 (RNBPG) 方法，用于最小化一个光滑（可能非凸）函数与一个块可分（可能非凸非光滑）函数之和。在每次迭代中，该方法根据任何规定的概率分布随机选择一个块，并求解通常几个相关的近端子问题（这些子问题通常具有闭式解），直到目标函数值取得一定进展。与通常的随机块坐标下降法 [23,20] 相比，我们的方法具有非单调特性，并使用可变步长，能够部分利用目标函数光滑分量的局部曲率信息。我们证明了该方法解序列的任何聚点几乎必然是问题的驻点，且该方法能够以高概率找到近似驻点。我们还建立了该方法在某些近端梯度的最小期望平方范数意义上的次线性收敛速率。当所考虑的问题是凸问题时，我们证明了 RNBPG 生成的期望目标函数值收敛于问题的最优值。在某些假设下，我们进一步建立了 RNBPG 单调版本生成的期望目标函数值的次线性和线性收敛速率。最后，我们进行了一些初步实验，测试 RNBPG 在机器学习中 $\ell_1$ 正则化最小二乘问题和对偶 SVM 问题上的性能。计算结果表明，我们的方法在性能上显著优于具有固定或可变步长的随机块坐标下降法。