InstaGAN：实例感知的图像到图像翻译
机器学习
2019-01-03 v2 计算机视觉与模式识别
机器学习
摘要
由于基于生成对抗网络（GANs）的近期令人印象深刻的进展，无监督图像到图像翻译已获得相当多的关注。然而，先前的方法在挑战性情况下常常失败，特别是当图像具有多个目标实例且翻译任务涉及形状显著改变时，例如将时尚图像中的裤子翻译为裙子。为解决这些问题，我们提出一种新方法，称为实例感知 GAN（InstaGAN），其融入实例信息（例如目标分割掩码）并改进多实例变形。所提方法在保持实例置换不变性的同时翻译图像及相应的一组实例属性。为此，我们引入一种上下文保持损失，鼓励网络在目标实例之外学习恒等函数。我们还提出一种顺序小批量推断/训练技术，以有限的 GPU 内存处理多个实例，并增强网络对多实例的更好泛化能力。我们的对比评估证明了所提方法在不同图像数据集上的有效性，特别是在上述挑战性情况下。代码与结果可在 https://github.com/sangwoomo/instagan 获取。
引用
@article{arxiv.1812.10889,
title = {InstaGAN: Instance-aware Image-to-Image Translation},
author = {Sangwoo Mo and Minsu Cho and Jinwoo Shin},
journal= {arXiv preprint arXiv:1812.10889},
year = {2019}
}
备注
Accepted to ICLR 2019. High resolution images are available in https://github.com/sangwoomo/instagan