基于数量条件的多类多实例对抗图像生成
计算机视觉与模式识别
2021-04-01 v1 机器学习
摘要
图像生成在近年来迅速发展。现代对抗训练架构已能生成甚至高分辨率且质量卓越的图像。与此同时,越来越多的研究致力于控制生成图像的内容。本文在该方向上更进一步,提出了一种条件生成对抗网络(GAN),可生成包含指定类别且各类别对象数量确定的图像。这需要具备两项基本能力:(1)在给定复杂约束下生成高质量图像;(2)能够统计给定图像中每类对象的实例数量。我们提出的模型以模块化的方式扩展了成功的StyleGAN2架构,加入了基于数量的调节机制,以及用于在训练期间统计每类生成对象数量的回归子网络。在三个不同数据集上的实验表明,即便在复杂背景存在的情况下,所提模型也能学习按照给定的多类数量条件生成图像。特别地,我们提出了新数据集CityCount,其派生自Cityscapes街景数据集,以在具挑战性且具实际相关性的场景中评估我们的方法。
引用
@article{arxiv.2103.16795,
title = {Multi-Class Multi-Instance Count Conditioned Adversarial Image Generation},
author = {Amrutha Saseendran and Kathrin Skubch and Margret Keuper},
journal= {arXiv preprint arXiv:2103.16795},
year = {2021}
}