通过最大均值差异优化训练生成式神经网络
机器学习
2015-05-18 v1 机器学习
摘要
我们考虑训练一个深度神经网络，以从给定i.i.d.数据的未知分布中生成样本。我们将学习框定为最小化一个两样本检验统计量的优化问题——通俗地说，一个好的生成器网络产生的样本会使两样本检验无法拒绝原假设。作为我们的两样本检验统计量，我们使用最大均值差异（maximum mean discrepancy, MMD）的无偏估计，该差异是Gretton等人（2012）提出的非参数核两样本检验的核心。我们与Goodfellow等人（2014）引入的对抗网络（adversarial nets）框架进行比较，其中学习是生成器网络与对抗判别器网络之间的双人博弈，两者都训练以胜过对方。从这个角度看，MMD统计量扮演了判别器的角色。除了实证比较外，我们还证明了优化经验MMD所引起的泛化误差界限。
引用
@article{arxiv.1505.03906,
title = {Training generative neural networks via Maximum Mean Discrepancy optimization},
author = {Gintare Karolina Dziugaite and Daniel M. Roy and Zoubin Ghahramani},
journal= {arXiv preprint arXiv:1505.03906},
year = {2015}
}
备注
10 pages, to appear in Uncertainty in Artificial Intelligence (UAI) 2015