平均场黑盒变分推断的近维度无关收敛性

我们证明，给定一个平均场位置-尺度变分族，使用重参数化梯度的黑盒变分推断（BBVI）的收敛速率几乎与显式维度无关。具体而言，对于 $d$ 维强对数凹且对数平滑的目标分布，使用次高斯族的 BBVI 获得一个与全局最优解距离在 $\epsilon$ 以内的解所需的迭代次数具有 $\mathrm{O}(\log d)$ 的维度依赖性。这相较于满秩位置-尺度族的 $\mathrm{O}(d)$ 依赖性是一个显著改进。对于重尾族，我们证明了较弱的 $\mathrm{O}(d^{2/k})$ 依赖性，其中 $k$ 是该族的有限矩阶数。此外，如果目标对数密度的 Hessian 矩阵为常数，则复杂度没有任何显式的维度依赖性。我们还证明，我们对梯度方差的界（这是本文结果的关键）无法仅通过目标对数密度 Hessian 矩阵的谱界来改进。