变分自编码器中学习先验的必要性及有效性
机器学习
2019-06-03 v1 机器学习
摘要
使用强大的后验分布是实现更好变分推断的一种流行方法。然而，近期工作表明，聚合后验可能未能匹配单位高斯先验，因此学习先验成为改进下界的另一种途径。本文在文献中首次证明了当聚合后验不匹配单位高斯先验时学习先验的必要性及有效性，分析了此种情况可能发生的原因，并提出学习先验可能改善重构损失的假设，所有这些均得到我们大量实验结果的支持。我们表明，在 VAE 中使用学习到的 Real NVP 先验且仅用一个潜变量，即可达到与极深的最先进分层 VAE 相当的测试 NLL，优于许多先前具有复杂分层 VAE 架构的工作。
引用
@article{arxiv.1905.13452,
title = {On the Necessity and Effectiveness of Learning the Prior of Variational Auto-Encoder},
author = {Haowen Xu and Wenxiao Chen and Jinlin Lai and Zhihan Li and Youjian Zhao and Dan Pei},
journal= {arXiv preprint arXiv:1905.13452},
year = {2019}
}