两个潜流的故事：以短程 Langevin 流学习潜空间正规化流用于近似推断
机器学习
2023-01-24 v1 机器学习
摘要
我们研究顶层生成模型潜空间中的正规化流，其中正规化流模型充当生成器的信息先验模型。我们提出通过基于马尔可夫链蒙特卡洛(MCMC)的最大似然算法联合学习潜空间正规化流先验模型与顶层生成模型，其中对难处理的后验分布执行短程 Langevin 采样以推断每个观测样本的潜变量，从而可利用推断出的潜变量更新正规化流先验与生成器的参数。我们表明，在非收敛短程 MCMC 情形下，有限步 Langevin 动态是一种类流的近似推断模型，且学习目标实际上遵循最大似然估计(MLE)的扰动。我们进一步指出，该学习框架旨在（i）匹配潜空间正规化流与由短程 Langevin 流产生的聚合后验，以及（ii）使模型偏离 MLE，从而使得短程 Langevin 流推断接近真实后验。大量实验的实证结果验证了所提潜空间正规化流模型在图像生成、图像重建、异常检测、监督图像修复与无监督图像恢复任务中的有效性。
引用
@article{arxiv.2301.09300,
title = {A Tale of Two Latent Flows: Learning Latent Space Normalizing Flow with Short-run Langevin Flow for Approximate Inference},
author = {Jianwen Xie and Yaxuan Zhu and Yifei Xu and Dingcheng Li and Ping Li},
journal= {arXiv preprint arXiv:2301.09300},
year = {2023}
}
备注
The Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI) 2023