DA-GAN:基于深度注意力生成对抗网络的实例级图像翻译(含补充材料)
计算机视觉与模式识别
2018-02-20 v1
摘要
无监督图像翻译旨在翻译两个独立的图像集合,其难点在于无配对数据时发现正确对应。现有工作基于生成对抗网络(GAN)构建,使得翻译后图像的分布与目标集合的分布不可区分。然而,此类集合级约束无法学习实例级对应(例如物体配置任务中对齐的语义部件)。该局限常导致假阳性(例如几何或语义伪影),并进一步引发模式崩溃问题。为解决上述问题,我们提出一种基于深度注意力 GAN(DA-GAN)的实例级图像翻译新框架。该设计使 DA-GAN 能将翻译两个集合样本的任务分解为在高度结构化潜在空间中翻译实例。具体而言,我们联合学习一个深度注意力编码器,并可通过关注所学实例对从而发现实例级对应。因此,约束可在集合级与实例级同时施加。与若干最优(state-of-the-art)方法的比较证明了我们方法的优越性,而其广泛应用能力(例如姿态变形、数据增广等)拓展了域翻译问题的边界。
引用
@article{arxiv.1802.06454,
title = {DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks (with Supplementary Materials)},
author = {Shuang Ma and Jianlong Fu and Chang Wen Chen and Tao Mei},
journal= {arXiv preprint arXiv:1802.06454},
year = {2018}
}
备注
Computer Vision and Pattern Recognition