以最大似然训练的 EBM 实为以自对抗损失训练的生成器模型
机器学习
2021-04-23 v2 机器学习
摘要
最大似然估计在能量基模型（EBMs）的训练中被广泛使用。训练需要从非归一化分布中采样，这通常难以处理，实践中由 Langevin 动力学等 MCMC 算法获得。然而，由于高维空间中 MCMC 收敛极慢，当前对最大似然训练的理解——假设可抽取模型的近似样本——是有问题的。本文中，我们尝试用关联梯度下降 ODE 的确定性解替代 Langevin 动力学，以理解该训练过程。这样做使我们能够研究动力学所诱导的密度（若动力学可逆），并将 EBM 与 GAN 联系起来：将动力学视为生成器模型，初值视为潜变量，损失视为优化由同一能量定义的判别器，而该能量通过其梯度决定了生成器。由此得名为——自对抗损失。我们表明，在动力学中重新引入噪声不会导致行为的定性改变，仅降低生成器质量。因此我们表明 EBM 训练实质上是自对抗过程，而非最大似然估计。
引用
@article{arxiv.2102.11757,
title = {EBMs Trained with Maximum Likelihood are Generator Models Trained with a Self-adverserial Loss},
author = {Zhisheng Xiao and Qing Yan and Yali Amit},
journal= {arXiv preprint arXiv:2102.11757},
year = {2021}
}
备注
EBM Wrokshop at ICLR 2021