用于学习深度潜变量模型的朗之万自编码器
机器学习
2022-10-12 v2 机器学习
摘要
马尔可夫链蒙特卡洛（MCMC），如朗之万动力学，可用于近似难处理分布。然而在深度潜变量模型中，由于其代价高昂的逐数据点采样迭代与缓慢收敛，其使用受到限制。本文提出摊销朗之万动力学（ALD），其中逐数据点的MCMC迭代被完全替换为将观测映射到潜变量的编码器更新。这种摊销使得无需逐数据点迭代即可高效进行后验采样。尽管高效，我们证明ALD作为MCMC算法是有效的，其马尔可夫链在温和假设下以目标后验为平稳分布。基于ALD，我们还提出一种名为朗之万自编码器（LAE）的新深度潜变量模型。有趣的是，LAE可通过略微修改传统自编码器来实现。利用多个合成数据集，我们首先验证ALD能恰当地从目标后验中获取样本。我们还在图像生成任务上评估LAE，表明我们的LAE在测试似然方面优于基于变分推断的现有方法（如变分自编码器）以及其他基于MCMC的方法。
引用
@article{arxiv.2209.07036,
title = {Langevin Autoencoders for Learning Deep Latent Variable Models},
author = {Shohei Taniguchi and Yusuke Iwasawa and Wataru Kumagai and Yutaka Matsuo},
journal= {arXiv preprint arXiv:2209.07036},
year = {2022}
}
备注
accepted at Neural Information Processing Systems (NeurIPS 2022)