随机布雷格曼近端梯度法再探：核条件数与无痛方差缩减

我们研究用于最小化有限和非凸函数 $\Psi(x):=\frac{1}{n}\sum_{i=1}^nf_i(x)+\phi(x)$ 的随机布雷格曼近端梯度（SBPG）方法，其中 $\phi$ 是凸且非光滑的，而 $f_i$ 不满足梯度全局利普希茨连续性，而是满足关于某个核 $h$ 的光滑适应性条件。随机算法的标准加速技术（动量、混洗、方差缩减）依赖于通过梯度差来界定随机误差，而这些梯度差进一步通过利普希茨性质来控制。由于缺乏这一性质，现有的 SBPG 结果仅限于无法产生对 $n$ 的最优 $O(\sqrt{n})$ 复杂度依赖的普通随机逼近。此外，现有工作在各种非标准平稳性度量下报告复杂度，这些度量在很大程度上偏离了标准的最小极限弗雷歇次微分 $\mathrm{dist}(0,\partial\Psi(\cdot))$。我们的分析揭示，这些流行的平稳性度量通常远小于 $\mathrm{dist}(0,\partial\Psi(\cdot))$，导致夸大的解质量和非平稳输出。为解决这些问题，我们通过对偶空间中的 BPG 残差设计了一个新的梯度映射 $\mathcal{D}_{\phi,h}^\lambda (\cdot)$ 和一个新的核条件数（KC）正则性，在该正则性下，$\|\mathcal{D}_{\phi,h}^\lambda (\cdot)\|$ 与 $\mathrm{dist}(0,\partial\Psi(\cdot))$ 之间的不匹配可证明为 $O(1)$ 且与实例无关。此外，KC-正则性保证了梯度差的类利普希茨界，为光滑适应性下的动量、混洗和方差缩减提供了通用分析工具。我们在方差缩减 SBPG 方法上阐明了这一点，并为 $\|\mathcal{D}_{\phi,h}^\lambda (\cdot)\|$ 建立了 $O(\sqrt{n})$ 复杂度，从而在 $\mathrm{dist}(0,\partial\Psi(\cdot))$ 下提供了与实例无关的（最坏情况）复杂度。