用学习矩方法训练隐式生成模型
机器学习
2018-06-29 v1 机器学习
摘要
我们提出一种矩方法（MoM）算法用于训练大规模隐式生成模型。此设定下的矩估计遇到两个问题：常常难以定义学习模型参数所需的数百万个矩，并且难以确定在指定矩时哪些性质是有用的。针对第一个问题，我们引入一个矩网络，并将矩定义为该网络的隐藏单元以及网络输出关于其参数的梯度。为解决第二个问题，我们利用渐近理论指出矩的期望性质——即它们应最小化估计模型参数的渐近方差——并引入一个目标来学习更好的矩。由此学习矩方法（MoLM）产生的一系列目标可以训练高质量的神经图像采样器。在 CIFAR-10 上，我们证明 MoLM 训练的生成器比用梯度惩罚正则化和谱归一化对抗目标训练的生成器取得了显著更高的 Inception Score 和更低的 Frechet Inception Distance。这些生成器在 CelebA 上还取得了近乎完美的 Multi-Scale Structural Similarity Score，并能生成 128x128 图像的高质量样本。
引用
@article{arxiv.1806.11006,
title = {Learning Implicit Generative Models with the Method of Learned Moments},
author = {Suman Ravuri and Shakir Mohamed and Mihaela Rosca and Oriol Vinyals},
journal= {arXiv preprint arXiv:1806.11006},
year = {2018}
}
备注
ICML 2018, 6 figures, 17 pages