基于单向流网络的对抗似然估计
机器学习
2023-10-03 v3 人工智能
摘要
生成对抗网络(GANs)能够生成高质量样本，但无法提供样本周围概率密度的估计。然而，已有研究指出，在基于能量的框架下最大化对数似然可导出一种对抗框架，其中判别器提供非归一化密度（常称为能量）。我们进一步发展该视角，引入重要性采样，并表明：1) Wasserstein GAN 对配分函数做了有偏估计，我们转而提出使用无偏估计器；2) 在优化似然时，必须最大化生成器熵。据推测这能带来更好的模式覆盖。与以往工作不同，我们显式计算了生成样本的密度。这是设计配分函数无偏估计器及计算生成器熵项的关键使能因素。生成器密度通过一种称为单向流网络(one-way flow network)的新型流网络获得，该网络在架构上约束更少，因其不需要可处理的逆函数。实验结果表明，我们的方法收敛更快，在相似架构下生成与GANs相当的样本质量，成功避免对常用数据集的过拟合，并生成训练数据的平滑低维潜表示。
引用
@article{arxiv.2307.09882,
title = {Adversarial Likelihood Estimation With One-Way Flows},
author = {Omri Ben-Dov and Pravir Singh Gupta and Victoria Abrevaya and Michael J. Black and Partha Ghosh},
journal= {arXiv preprint arXiv:2307.09882},
year = {2023}
}