面向能量模型的非收敛非持久短程 MCMC 学习
机器学习
2019-11-27 v4 机器学习
摘要
本文研究利用 MCMC 学习能量模型（EBM）时的一个有趣现象。在每次学习迭代中，我们通过运行一条指向当前模型的非收敛、非混合且非持久短程 MCMC 来生成合成样本，该 MCMC 总是从同一初始分布（如均匀噪声分布）出发，且始终运行固定步数。生成合成样本后，我们依据最大似然学习梯度更新模型参数，仿佛这些合成样本是来自当前模型的公平样本。我们将此非收敛短程 MCMC 视为一种学得的生成器模型或流模型。我们给出将所学非收敛短程 MCMC 作为有效模型的论据。我们展示所学短程 MCMC 能够生成逼真图像。更有趣的是，不同于传统 EBM 或 MCMC，所学短程 MCMC 能够像生成器或流模型那样重建观测图像并在图像间插值。代码见附录。
引用
@article{arxiv.1904.09770,
title = {Learning Non-Convergent Non-Persistent Short-Run MCMC Toward Energy-Based Model},
author = {Erik Nijkamp and Mitch Hill and Song-Chun Zhu and Ying Nian Wu},
journal= {arXiv preprint arXiv:1904.09770},
year = {2019}
}