基于 Hölder 界的变分推断
机器学习
2021-11-16 v2 机器学习
摘要
最近引入的热力学积分技术为理解和改进变分推断 (VI) 提供了一个新框架。在本工作中，我们对热力学变分目标 (TVO) 进行了仔细分析，弥合了现有变分目标之间的差距，并为推进该领域提供了新见解。具体而言，我们阐明了 TVO 如何自然地连接三种关键的变分方案，即重要性加权 VI、Rényi-VI 和 MCMC-VI，这涵盖了实践中使用的大多数 VI 目标。为了解释理论与实践之间的性能差距，我们揭示了热力学曲线的病态几何如何对 TVO 产生负面影响。通过将积分路径从几何平均推广到加权 Hölder 平均，我们扩展了 TVO 的理论，并确定了改进 VI 的新机会。这促使我们提出了名为 Hölder 界的新 VI 目标，它使热力学曲线变平，并有望实现精确边缘对数似然的一步近似。我们提供了关于数值估计器选择的全面讨论。我们在合成和真实数据集上提供了强有力的经验证据来支持我们的主张。
引用
@article{arxiv.2111.02947,
title = {Variational Inference with Holder Bounds},
author = {Junya Chen and Danni Lu and Zidi Xiu and Ke Bai and Lawrence Carin and Chenyang Tao},
journal= {arXiv preprint arXiv:2111.02947},
year = {2021}
}