具有弱凸与多凸代理函数的随机正则化优超–最小化

随机优超–最小化（SMM）是一类随机优化算法，通过采样新数据点并最小化目标函数代理函数的递归平均来推进。代理函数要求为强凸，且针对一般非凸情形的收敛速率分析此前尚不可用。本文提出 SMM 的一种扩展，其中代理函数允许仅为弱凸或块多凸，且平均代理函数分别通过近端正则化近似最小化或在递减半径内块最小化。针对具有非独立同分布数据样本的一般非凸约束情形，我们证明了所提算法的一阶最优性间隙对经验损失以 $O((\log n)^{1+\epsilon}/n^{1/2})$ 的速率衰减，对期望损失以 $O((\log n)^{1+\epsilon}/n^{1/4})$ 的速率衰减，其中 $n$ 表示已处理的数据样本数。在某些附加假设下，后一收敛速率可改进为 $O((\log n)^{1+\epsilon}/n^{1/2})$。作为推论，我们获得了一般非凸相依数据设定下多种优化方法的首批收敛速率界：双重平均投影梯度下降及其推广、近端点经验风险最小化，以及在线矩阵/张量分解算法。我们还提供了实验验证。