基于核密度判别的生成对抗学习
机器学习
2021-07-14 v1 计算机视觉与模式识别
摘要
我们提出核密度判别 GAN(KDD GAN),一种新颖的生成对抗学习方法。KDD GAN 将训练表述为似然比优化问题,其中数据分布通过(局部)核密度估计(KDE)显式写出。这受对比学习近期进展及其与 KDE 关系的启发。我们直接在特征空间中定义 KDE,并摒弃核特征映射可逆性的要求。在我们的方法中,特征不再如原始 GAN 公式那样为线性可分性而优化,而是为特征空间中更一般的分布判别性而优化。我们分析了损失相对于特征表示的梯度,并表明其比原始 hinge 损失的梯度性质更好。我们使用所提基于 KDE 的损失(用作训练损失或正则化项)在 CIFAR10 与缩放版 ImageNet 上进行实验。我们使用 BigGAN/SA-GAN 作为骨干与基线,因我们的重点并非设计网络架构。相较于基线,我们展示了生成样本质量在 FID 上提升 10% 至 40%。代码将公开。
引用
@article{arxiv.2107.06197,
title = {Generative Adversarial Learning via Kernel Density Discrimination},
author = {Abdelhak Lemkhenter and Adam Bielski and Alp Eren Sari and Paolo Favaro},
journal= {arXiv preprint arXiv:2107.06197},
year = {2021}
}