基于混合分布的自动微分变分推断
机器学习
2020-06-25 v4 机器学习
摘要
自动微分变分推断（ADVI）是机器学习中高效学习概率模型的有用工具。通常，由 ADVI 学习的近似后验被迫为单峰，以便于使用重参数化技巧。本文中，我们展示如何使用分层采样使混合分布作为近似后验，并推导出类似于重要性加权自编码器（IWAE）的证据新下界。我们表明该“SIWAE”比 IWAE 与传统 ELBO 均为更紧的下界，且二者均为该界的特殊实例。我们通过实验验证传统 ELBO 目标不利于多峰后验分布的存在，因此可能无法充分捕捉潜空间中的结构。我们的实验表明，使用 SIWAE 目标可使编码器学习更常包含多峰性的更复杂分布，从而在存在不完整、有限或 corrupted 数据时获得更高精度与更好校准。
引用
@article{arxiv.2003.01687,
title = {Automatic Differentiation Variational Inference with Mixtures},
author = {Warren R. Morningstar and Sharad M. Vikram and Cusuh Ham and Andrew Gallagher and Joshua V. Dillon},
journal= {arXiv preprint arXiv:2003.01687},
year = {2020}
}
备注
Submitted to NeurIPS 2020, Corrected footnote from: "34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, Canada" to "Preprint. Under review."