基于耦合马尔可夫链的方差自编码器无偏梯度估计
机器学习
2021-06-03 v2 机器学习
摘要
方差自编码器（VAE）是一种深度潜变量模型，具有类自编码器的架构中的两个神经网络；其中之一参数化模型的似然。通过最大似然（ML）拟合其参数颇具挑战，因为边际似然的计算涉及潜空间上难以处理的积分；因此 VAE 改为通过最大化变分下界来训练。在此，我们通过引入对数似然梯度的无偏估计器，为 VAE 开发了一种 ML 训练方案。我们通过用一组重要性样本扩充潜空间（类似于重要性加权自编码器（IWAE））来获得估计器，然后在此扩充空间上构造马尔可夫链蒙特卡洛耦合过程。我们给出了估计器可在有限时间内以有限方差计算的条件。我们通过实验表明，用无偏估计器拟合的 VAE 展现出更好的预测性能。
引用
@article{arxiv.2010.01845,
title = {Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains},
author = {Francisco J. R. Ruiz and Michalis K. Titsias and Taylan Cemgil and Arnaud Doucet},
journal= {arXiv preprint arXiv:2010.01845},
year = {2021}
}