关于乘性噪声随机平滑凸优化的方差缩减

我们提出了动态采样随机近似 (SA) 方法，用于具有重尾分布（具有有限二阶矩）的随机优化。目标是带凸正则化项的平滑凸函数之和。通常，假设预言机具有其方差的上界 $\sigma^2$ (OUBV)。不同的是，我们假设具有\emph{乘性噪声}的预言机。这种很少被处理的设置更具进攻性但现实，其中方差可能无界。我们的方法实现了最优迭代复杂度和（近）最优预言机复杂度。对于平滑凸类，我们使用类似于 FISTA 的加速 SA 方法，该方法在给定容差 $\epsilon>0$ 时，实现 $\mathcal{O}(\epsilon^{-\frac{1}{2}})$ 的最优迭代复杂度和 $\mathcal{O}(\epsilon^{-2})[\ln(\epsilon^{-\frac{1}{2}})]^2$ 的近最优预言机复杂度。这改进了 Ghadimi 和 Lan [\emph{Math. Program.}, 156:59-99, 2016]，其中假设了 OUBV。对于强凸类，我们的方法实现了 $\mathcal{O}(\ln(\epsilon^{-1}))$ 的最优迭代复杂度和 $\mathcal{O}(\epsilon^{-1})$ 的最优预言机复杂度。这改进了 Byrd 等人 [\emph{Math. Program.}, 134:127-155, 2012]，其中假设了 OUBV。在方差方面，我们的界限是局部的：它们依赖于解 $x^*$ 处的方差 $\sigma(x^*)^2$ 以及每单位距离的乘性方差 $\sigma^2_L$。对于平滑凸类，存在若干策略使得我们的界限类似于假设 OUBV 且 $\sigma^2:=\sigma(x^*)^2$ 时所获得的界限。对于强凸类，如果条件数被估计，或者在条件数更好的问题的极限情况下，或者对于更大的初始批大小，则精确获得此性质。无论如何，如果假设 OUBV，我们的界限因此要尖锐得多，因为通常 $\max\{\sigma(x^*)^2,\sigma_L^2\}\ll\sigma^2$。