用于潜空间能量模型学习的自适应多阶段密度比估计
机器学习
2022-09-20 v1 计算机视觉与模式识别
机器学习
摘要
本文研究在生成模型潜空间中学习能量模型（EBM）这一基本问题。学习此类先验模型通常需要运行代价高昂的马尔可夫链蒙特卡洛（MCMC）。相反，我们提出使用噪声对比估计（NCE）通过对潜先验密度与潜后验密度之间的密度比估计来判别式地学习 EBM。然而，给定两个密度间存在较大差距时，NCE 通常无法准确估计该密度比。为有效解决此问题并学习更具表达力的先验模型，我们开发了自适应多阶段密度比估计，将估计分解为多个阶段，并顺序且自适应地学习不同阶段的密度比。潜先验模型可利用前一阶段估计的密度比逐步学习，从而最终潜空间 EBM 先验可由不同阶段的密度比乘积自然形成。所提方法能够生成比现有基线更具信息量且更尖锐的先验，并且可高效训练。我们的实验在图像生成与重建以及异常检测方面展示了强劲性能。
引用
@article{arxiv.2209.08739,
title = {Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model},
author = {Zhisheng Xiao and Tian Han},
journal= {arXiv preprint arXiv:2209.08739},
year = {2022}
}
备注
Accepted to NeurIPS 2022