MCMC 应当混合：基于神经传输潜空间 MCMC 学习能量基模型
机器学习
2022-03-17 v2 机器学习
摘要
学习能量基模型（EBM）需要以所学习模型的 MCMC 采样作为学习算法的内循环。然而，EBM 在高维数据空间中的 MCMC 采样通常无法混合，因为通常由深度网络参数化的能量函数在数据空间中高度多模态。这是 EBM 理论与实践的严重障碍。本文提出以流模型（或一般地潜变量模型）为骨干学习 EBM，使 EBM 成为对流模型的修正或指数倾斜。我们表明，该模型在骨干模型潜变量空间中具有特别简单的形式，且 EBM 在潜空间中的 MCMC 采样混合良好并遍历数据空间中的模态。这使得 EBM 的正确采样与学习成为可能。
引用
@article{arxiv.2006.06897,
title = {MCMC Should Mix: Learning Energy-Based Model with Neural Transport Latent Space MCMC},
author = {Erik Nijkamp and Ruiqi Gao and Pavel Sountsov and Srinivas Vasudevan and Bo Pang and Song-Chun Zhu and Ying Nian Wu},
journal= {arXiv preprint arXiv:2006.06897},
year = {2022}
}