具有对数次数投影的最优随机强凸优化

我们考虑带有复杂不等式约束的随机强凸优化。该复杂不等式约束可能导致随机梯度下降~(SGD) 方法的算法迭代中投影的计算代价高昂。为了降低与投影相关的计算成本，我们提出了一种 Epoch-Projection Stochastic Gradient Descent~(Epro-SGD) 方法。所提出的 Epro-SGD 方法由一系列 epoch 组成；它在每个 epoch 内的每次迭代中对增广目标函数应用 SGD，并在每个 epoch 结束时执行一次投影。给定一个强凸优化问题且总迭代次数为 $T$ 时，Epro-SGD 仅需要 $\log(T)$ 次投影，同时达到了 $O(1/T)$ 的最优收敛速率，这在期望意义下和高概率下均成立。为了利用优化问题的结构，我们基于最优正则化对偶平均方法提出了 Epro-SGD 的近端变体，即 Epro-ORDA。我们将所提出的方法应用于实际应用中；实证结果证明了我们方法的有效性。