随机凸规划之外镜像下降法的收敛性

在本文中，我们考察了一类不一定是凸的（甚至不一定是拟凸的）随机优化问题中镜像下降法的收敛性，我们将这类问题称为变分相干问题。由于标准的“遍历平均”技术在凸规划之外无法提供实质性的益处，我们直接关注算法生成的最后一个样本（即“最后迭代”），并证明如果底层问题是相干的，则该迭代以概率 $1$ 收敛。我们进一步考虑了变分相干的局部版本，它以高概率保证随机镜像下降 (SMD) 的局部收敛性。这些结果通过表明（拟）凸性对于收敛到全局最小值并非必要，而是变分相干这一更弱的条件即已足够，从而丰富了非凸随机优化的研究图景。最后，基于上述结果，我们揭示了关于 SMD 收敛速度的一个有趣见解：在具有尖锐最小值的问题中（如通用线性规划或凹最小化问题），即使存在持续的梯度噪声，SMD 也能在有限步数内（几乎必然）达到最小值点。这一结果与现有的仅为渐近的黑盒收敛率估计形成了对比。