迈向实例级图像到图像翻译
计算机视觉与模式识别
2019-05-07 v1 人工智能
摘要
非配对图像到图像翻译是一个新兴且具有挑战性的视觉问题，旨在学习不同域间非对齐图像对之间的映射。该领域近期进展如 MUNIT 和 DRIT 主要侧重于先从给定图像中解耦内容与风格/属性，然后直接采用全局风格引导模型合成新域图像。然而，若目标域图像富含多个差异物体，此类方法会严重产生矛盾。本文提出一种简单而有效的实例感知图像到图像翻译方法（INIT），其在空间上将细粒度局部（实例）与全局风格应用于目标图像。所提 INIT 具有三个重要优势：（1）实例级目标损失可帮助学习更精确的重建并融入物体的多样属性；（2）用于局部/全局区域目标域的风格来自源域中对应空间区域，直观上是更合理的映射；（3）联合训练过程可同时受益于细粒度和粗粒度，并融入实例信息以提升全局翻译质量。我们还为新实例级翻译任务收集了大规模基准。我们观察到合成图像甚至可惠及像通用目标检测这样的真实视觉任务。
引用
@article{arxiv.1905.01744,
title = {Towards Instance-level Image-to-Image Translation},
author = {Zhiqiang Shen and Mingyang Huang and Jianping Shi and Xiangyang Xue and Thomas Huang},
journal= {arXiv preprint arXiv:1905.01744},
year = {2019}
}
备注
Accepted to CVPR 2019. Project page: http://zhiqiangshen.com/projects/INIT/index.html