改进语义图像合成的增强与评估方案
计算机视觉与模式识别
2021-02-02 v3 计算几何
机器学习
摘要
尽管数据增强是提升深度神经网络性能的事实标准技术，但针对生成对抗网络（GAN）开发增强策略却鲜有关注。为此，我们引入一种专为基于GAN的语义图像合成模型设计的新型增强方案。我们提议在用作生成器输入的语义标签图中随机扭曲物体形状。扭曲与非扭曲标签图及图像之间的局部形状差异使GAN能更好地学习场景的结构与几何细节，从而提升生成图像质量。在将增强GAN模型与其原始版本基准对比时，我们发现以往语义图像合成研究中报告的量化指标因通过外部预训练分割网络得出，而强烈偏向于特定语义类别。因此我们提议通过分别分析所生成图像在给定分割网络的偏置与非偏置类别上的表现，来改进既有的语义图像合成评估方案。最后，我们在三个不同数据集上使用最先进语义图像合成模型，借助我们的增强方案在两类别划分上均取得显著的定量与定性改进。在COCO-Stuff、ADE20K和Cityscapes数据集上平均而言，增强模型以约3 mIoU和约10 FID点优于其原始版本。
引用
@article{arxiv.2011.12636,
title = {Improving Augmentation and Evaluation Schemes for Semantic Image Synthesis},
author = {Prateek Katiyar and Anna Khoreva},
journal= {arXiv preprint arXiv:2011.12636},
year = {2021}
}