通用提升变分推断

提升变分推断（BVI）通过每次迭代构建一个简单分量分布的混合来逼近难以处理的概密度，利用稀疏凸优化技术提供计算可扩展性和逼近误差保证。但这些保证具有较强条件，在实践中往往不成立，导致分量优化问题退化；并且我们表明，实践中用于防止退化的临时正则化会以不直观的方式导致 BVI 失败。因此我们提出了通用提升变分推断（UBVI），一种利用概率密度在 Hellinger 度量下的简单几何来防止其他基于梯度的 BVI 方法退化、避免分量和权重的困难联合优化并简化全修正权重优化的 BVI 方案。我们证明，对于任意目标密度和任意混合分量族，即使混合分量族设定错误，UBVI 的输出也会收敛到混合族中最佳可能的逼近。我们基于指数族混合分量和标准随机优化技术开发了可扩展的实现。最后，我们通过后验概率、矩和重要性采样误差的界讨论了 Hellinger 距离作为变分目标的统计优势。在多个数据集和模型上的实验表明，UBVI 提供了可靠、准确的后验逼近。