用于图像合成的空间融合GAN
计算机视觉与模式识别
2019-04-03 v3
摘要
生成对抗网络(GANs)的最新进展在真实感图像合成方面展现出巨大潜力,然而现有大多数工作仅在外观空间或几何空间中提升合成真实感,极少同时兼顾两者。本文提出一种创新的空间融合GAN(SF-GAN),其结合几何合成器与外观合成器,以在几何与外观空间中同时实现合成真实感。几何合成器学习背景图像的上下文几何结构,并将前景目标统一地变换并放置到背景图像中。外观合成器调整前景目标的颜色、亮度与风格,并将其和谐地嵌入背景图像,其中引入引导滤波以保留细节。两个合成器相互关联作为彼此参考,可进行端到端无监督训练。SF-GAN在两个任务上进行了评估:(1)真实场景文本图像合成以训练更优的识别模型;(2)佩戴眼镜与帽子,为真实人像匹配真实的眼镜与帽子。与当前最优方法的定性与定量比较证明了所提SF-GAN的优越性。
引用
@article{arxiv.1812.05840,
title = {Spatial Fusion GAN for Image Synthesis},
author = {Fangneng Zhan and Hongyuan Zhu and Shijian Lu},
journal= {arXiv preprint arXiv:1812.05840},
year = {2019}
}
备注
Accepted to CVPR 2019