变分 Laplace 自编码器
机器学习
2022-12-01 v1
摘要
变分自编码器采用摊销推理模型来近似潜变量的后验。然而，这种摊销变分推理面临两个挑战：（1）完全分解高斯假设的有限后验表达能力，以及（2）推理模型的摊销误差。我们提出了一种解决这两个挑战的新方法。首先，我们关注具有高斯输出的 ReLU 网络并阐明其与概率 PCA 的联系。基于这一观察，我们推导出一个寻找后验众数的迭代算法，并应用以众数为中心的全协方差高斯后验近似。随后，我们提出了一个名为变分 Laplace 自编码器（VLAEs）的通用框架，用于训练深度生成模型。基于潜变量后验的 Laplace 近似，VLAEs 增强了后验的表达能力，同时减少了摊销误差。在 MNIST、Omniglot、Fashion-MNIST、SVHN 和 CIFAR10 上的实证结果表明，所提出的方法在 ReLU 网络上显著优于其他最近的摊销或迭代方法。
关键词
引用
@article{arxiv.2211.17267,
title = {Variational Laplace Autoencoders},
author = {Yookoon Park and Chris Dongjoo Kim and Gunhee Kim},
journal= {arXiv preprint arXiv:2211.17267},
year = {2022}
}
备注
Published in ICML 2019