面向高维非凸随机优化的准随机一阶方法：引入非光滑准则项与方差缩减

当非凸问题因随机性而复杂化时，随机一阶方法的样本复杂度可能随问题维度线性增长，这对大规模问题而言不理想。为缓解这种线性依赖，本文采用非欧几里得设置，提出两种非光滑准则项的选择方案，用于执行随机梯度步骤。这种方法导致更强的收敛度量、增量计算开销以及潜在的维度无关样本复杂度。我们还考虑通过方差缩减实现进一步加速，这实现了接近最优的样本复杂度，并在我们所知的 $\ell_1/\ell_\infty$ 设置下首次实现。由于使用非光滑准则项不寻常，收敛分析与欧几里得设置或采用 Bregman 发散的算法有很大不同，为分析其他非欧几里得距离函数选择提供了工具。讨论了各种情境下的子问题有效求解方法，并进行了模拟。我们通过初步数值实验说明了所提出方法的维度无关特性。