关于半定优化中的随机方差缩减梯度法

低秩随机半定优化因其广泛的应用而受到越来越多的关注。基于低秩分解的非凸重构显著提高了计算效率，但也给分析带来了一些新的挑战。随机方差缩减梯度（SVRG）方法被认为是最有效的方法之一。SVRG 通常由两个循环组成：在外层循环中首先计算一个参考全梯度，然后在内层循环中用它来产生当前梯度的方差缩减估计。已有两种方案用于产生内层循环的输出，其中方案 I 将其输出设为最后一次迭代，方案 II 通过对内层循环中的所有迭代进行随机采样来产生输出。然而，当 SVRG 适配于随机半定规划（SDP）时，其理论与实践之间存在显著差距。SVRG 在方案 I 下实际表现更好，而现有理论结果大多集中于方案 II。在本文中，我们通过利用一种适配于半定优化的、采用方案 I 的原始 SVRG 的新半随机变体来填补这一差距。在此基础上，在可证明的初始化方案以及某些光滑性和受限强凸假设下，我们建立了所提 SVRG 方法的全局线性子流形收敛性（即在正交群作用下指数快速收敛到全局极小值的子流形）。我们的分析包含了内层循环中迷你批大小与更新频率的影响，以及两种实用步长策略：固定步长和稳定化 Barzilai-Borwein 步长。矩阵感知中的一些数值结果表明，所提 SVRG 方法优于方案 II 的对应方法以及其他方法。