双流记：面向能量模型的朗之万流与归一化流的协作学习
机器学习
2022-05-17 v1 机器学习
摘要
本文研究两个生成流模型的协作学习，其中两个模型基于联合合成的样本进行迭代更新。第一个流模型是归一化流，它通过施加一系列可逆变换将初始简单密度变换为目标密度。第二个流模型是朗之万流，它针对能量模型运行有限步基于梯度的 MCMC。我们首先提出一个生成框架，该框架以归一化流作为摊销采样器来训练能量模型，以初始化能量模型的 MCMC 链。在每次学习迭代中，我们通过归一化流初始化随后接一段短程朗之万流修正至当前能量模型来生成合成样本。然后我们将合成样本视为来自能量模型的公平样本，并用最大似然学习梯度更新模型参数，而归一化流通过最大化可处理的似然直接从合成样本学习。在短程非混合 MCMC 场景下，能量模型的估计被证明遵循最大似然的扰动，且短程朗之万流与归一化流形成一个我们称为 CoopFlow 的双流生成器。我们通过信息几何对 CoopFlow 算法提供理解，并表明它是一个有效的生成器，因为它收敛到一个矩匹配估计器。我们展示了训练好的 CoopFlow 能够合成逼真图像、重建图像以及在图像间插值。
引用
@article{arxiv.2205.06924,
title = {A Tale of Two Flows: Cooperative Learning of Langevin Flow and Normalizing Flow Toward Energy-Based Model},
author = {Jianwen Xie and Yaxuan Zhu and Jun Li and Ping Li},
journal= {arXiv preprint arXiv:2205.06924},
year = {2022}
}
备注
23 pages