通过教导显式生成模型来学习隐式生成模型
机器学习
2020-06-25 v3 机器学习
摘要
隐式生成模型难以训练，因为未定义显式密度函数。生成对抗网络 (GAN) 提出了一种极小极大框架来训练此类模型，然而由于 JS 散度的本质，其可能遭受模式崩溃。本文提出一种由教导而学习 (LBT) 的方法来学习隐式模型，该方法通过优化 KL 散度而非 GAN 中的 JS 散度，从本质上避免模式崩溃问题。在 LBT 中，引入一个辅助密度估计器来拟合隐式模型分布，同时隐式模型教导该密度估计器匹配数据分布。LBT 被表述为一个双层优化问题，其最优生成器匹配真实数据分布。LBT 可自然地与 GAN 集成以导出兼具互补优势的混合型 LBT-GAN。最后，我们提出一种带展开操作的随机梯度上升算法来求解这一具挑战性的学习问题。实验结果证明了我们方法的有效性。
引用
@article{arxiv.1807.03870,
title = {Learning Implicit Generative Models by Teaching Explicit Ones},
author = {Chao Du and Kun Xu and Chongxuan Li and Jun Zhu and Bo Zhang},
journal= {arXiv preprint arXiv:1807.03870},
year = {2020}
}