带约束的随机优化：非渐近实例相关分析

我们考虑凸约束下的随机凸优化问题。我们分析了针对该问题的一种自然方差缩减近端梯度（VRPG）算法的行为。我们的主要结果是VRPG算法的非渐近保证。与极小极大最坏情况保证相反，我们的结果本质上是实例相关的。这意味着我们的保证捕捉了损失函数的复杂度、噪声的变异性以及约束集的几何形状。我们证明，VRPG算法的非渐近性能由给定问题的解与给定问题某一小扰动问题的解之间的缩放距离（按$\sqrt{N}$缩放）决定——两者均在给定凸约束下求解；这里$N$表示样本数量。利用局部极小极大下界与扰动问题解之间已建立的联系，我们证明当$N \rightarrow \infty$时，VRPG算法在通用常数和样本大小的对数因子范围内达到了Hájek和Le Cam著名的局部极小极大下界。