实例条件化 GAN
计算机视觉与模式识别
2021-11-05 v2 机器学习
摘要
生成对抗网络 (GANs) 能在人脸等窄域中生成近乎照片真实的图像。然而，在 ImageNet 和 COCO-Stuff 等数据集的复杂分布建模在无条件设置下仍然具有挑战性。在本文中，我们从核密度估计技术获得启发，引入了一种对非参数方法对复杂数据集分布进行建模。我们将数据流形划分为由数据点及其最近邻描述的重叠邻域的混合，并引入一个名为实例条件化 GAN (IC-GAN) 的模型，该模型学习每个数据点周围的分布。在 ImageNet 和 COCO-Stuff 上的实验结果表明，IC-GAN 显著优于无条件模型和无监督数据划分基线。此外，我们表明 IC-GAN 可以通过简单地更改条件实例来轻松迁移到训练期间未见过的数据集，并且仍能生成真实图像。最后，我们将 IC-GAN 扩展到类条件情形，并在 ImageNet 上展示了语义可控生成和具有竞争力的定量结果；同时在 ImageNet-LT 上优于 BigGAN。用于复现所报告结果的代码和训练模型可在 https://github.com/facebookresearch/ic_gan 获取。
引用
@article{arxiv.2109.05070,
title = {Instance-Conditioned GAN},
author = {Arantxa Casanova and Marlène Careil and Jakob Verbeek and Michal Drozdzal and Adriana Romero-Soriano},
journal= {arXiv preprint arXiv:2109.05070},
year = {2021}
}
备注
Accepted at NeurIPS2021