黑盒变分推断的线性收敛：我们是否应该 Stick the Landing？

我们证明了带有控制变量的黑盒变分推断（BBVI），特别是 sticking-the-landing（STL）估计器，在变分族设定完全正确的情况下以几何（传统称为“线性”）速率收敛。特别地，我们证明了 STL 估计器梯度方差的二次界，该界包含了错误设定的变分族。结合先前关于二次方差条件的工作，这直接意味着使用投影随机梯度下降的 BBVI 的收敛性。对于投影算子，我们考虑具有三角尺度矩阵的域，其上的投影可在 $\Theta(d)$ 时间内计算，其中 $d$ 是目标后验的维数。我们还改进了关于常规闭式熵梯度估计器的现有分析，从而能够与 STL 估计器进行比较，为两者提供显式的非渐近复杂度保证。