蒙特卡洛变分自编码器
机器学习
2021-07-22 v1 机器学习
摘要
变分自编码器（VAE）是流行的深度潜变量模型，通过最大化证据下界（ELBO）进行训练。为了获得更紧的ELBO从而更好的变分近似，已有研究提出使用重要性采样来获得证据的低方差估计。然而，重要性采样在高维中表现不佳是众所周知的。尽管文献中多次建议采用如退火重要性采样（AIS）及其序贯重要性采样（SIS）扩展等更复杂的算法，但这些先进技术为VAE带来的潜在益处从未实现：AIS估计不易微分，而SIS需要仔细选择的后向马尔可夫核的设定。在本文中，我们解决了这两个问题，并在多种应用上展示了所得蒙特卡洛VAE的性能。
引用
@article{arxiv.2106.15921,
title = {Monte Carlo Variational Auto-Encoders},
author = {Achille Thin and Nikita Kotelevskii and Arnaud Doucet and Alain Durmus and Eric Moulines and Maxim Panov},
journal= {arXiv preprint arXiv:2106.15921},
year = {2021}
}