Alpha-散度变分推断遇上重要性加权自编码器：方法与渐近性
机器学习
2023-07-20 v2 机器学习
摘要
已有若干涉及变分 Rényi (VR) 界的算法被提出，用于最小化目标后验分布与变分分布之间的 alpha-散度。尽管取得了有前景的经验结果，这些算法诉诸有偏随机梯度下降过程，因而缺乏理论保证。在本文中，我们形式化并研究了 VR-IWAE 界，即重要性加权自编码器 (IWAE) 界的一种推广。我们证明 VR-IWAE 界具有若干理想性质，并且在重参数化情形下尤其能导出与 VR 界相同的随机梯度下降过程，但此次依赖于无偏梯度估计量。随后我们对 VR-IWAE 界以及标准 IWAE 界给出两项互补的理论分析。这些分析阐明了这些界的优势或不足。最后，我们在玩具数据与真实数据示例上说明了我们的理论论断。
引用
@article{arxiv.2210.06226,
title = {Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics},
author = {Kamélia Daudel and Joe Benton and Yuyang Shi and Arnaud Doucet},
journal= {arXiv preprint arXiv:2210.06226},
year = {2023}
}