拟辛Langevin变分自编码器
机器学习
2021-05-28 v4 人工智能
机器学习
摘要
变分自编码器（VAE）是神经学习研究中一种非常流行且经过充分研究的生成模型。为了在处理大规模高维数据集的实践任务中利用VAE，需要应对构建低方差证据下界（ELBO）的困难。马尔可夫链蒙特卡洛（MCMC）是收紧ELBO以近似后验分布的有效方法，而哈密顿变分自编码器（HVAE）是一种受MCMC启发的有效方法，用于构建适合重参数化技巧的低方差ELBO。HVAE将哈密顿动力学流引入变分推断，显著提高了后验估计的性能。本文提出了一种基于Langevin动力学流的推断方法，通过Langevin动力学（一种类似于HVAE的基于MCMC的方法）将梯度信息纳入推断过程。具体而言，我们采用拟辛积分器来处理朴素Langevin流中Hessian计算的棘手问题。我们展示了所提框架与其他基于梯度流的方法在理论和实践上的有效性。
引用
@article{arxiv.2009.01675,
title = {Quasi-symplectic Langevin Variational Autoencoder},
author = {Zihao Wang and Hervé Delingette},
journal= {arXiv preprint arXiv:2009.01675},
year = {2021}
}