基于在线核的生成对抗网络
机器学习
2020-06-23 v1 机器学习
摘要
过去五年深度学习的重大突破之一是生成对抗网络（GAN），一种基于神经网络的生成模型，旨在给定样本数据集的情况下模仿某潜在分布。与许多试图最小化参数简单目标函数的监督问题不同，GAN 训练被表述为针对一对网络参数的极小极大问题。尽管经验上 GAN 在多个领域展现出令人印象深刻的成效，研究者一直为异常的训练行为所困惑，包括所谓的模式崩溃循环。本文中，我们首先提供一种定量方法来探究 GAN 训练中的若干挑战，并从经验上展示这如何从根本上与判别器网络的参数化本质相关。我们提出一种新方法，通过依赖高度适于在线训练的基于核的非参数判别器来解决其中许多问题——我们称之为基于在线核的生成对抗网络（OKGAN）。我们从经验上表明 OKGAN 缓解了若干训练问题，包括模式崩溃和循环，并且更易于获得理论保证。OKGAN 在合成数据上相对于反向 KL 散度而言经验表现远优于其他 GAN 形式；在 MNIST、SVHN 和 CelebA 等经典视觉数据集上表现出相当的性能。
引用
@article{arxiv.2006.11432,
title = {Online Kernel based Generative Adversarial Networks},
author = {Yeojoon Youn and Neil Thistlethwaite and Sang Keun Choe and Jacob Abernethy},
journal= {arXiv preprint arXiv:2006.11432},
year = {2020}
}