理解随机自然梯度变分推断

随机自然梯度变分推断（NGVI）是一种在 various 概率模型中应用广泛的后验推断方法。尽管其应用广泛，但关于 non-asymptotic 收敛速率的了解仍有限。我们旨是弥补这一差距并提供更好的理解。对于共轭似然分布，我们证明了随机 NGVI 的第一个 $\mathcal{O}(\frac{1}{T})$ non-asymptotic 收敛速率。其复杂度不比随机梯度下降（即黑盒变分推断）差，收敛速率可能具有更好的常数依赖性，从而在实际中实现更快的收敛。对于 non-conjugate 似然分布，我们表明随机 NGVI 采用标准参数化时，隐式地优化一个 non-convex 目标。因此，在没有对 ELBO 使用自然梯度的 significant 新理解的情况下，达到 $\mathcal{O}(\frac{1}{T})$ 的全局收敛速率不太可能。