基于自注意力网络的无监督图像到图像翻译
计算机视觉与模式识别
2020-04-21 v4
摘要
无监督图像翻译旨在给定非配对训练数据的情况下，学习从源域到另一目标域的变换。若干基于 GAN 的顶尖工作在无监督图像到图像翻译中取得了令人印象深刻的成果。与风格迁移等局部纹理映射任务相比，它难以捕捉域间强烈的几何或结构变化，或对复杂场景产生不尽人意的结果。近来，SAGAN（Han Zhang, 2018）表明自注意力网络比基于卷积的 GAN 产生更好的结果。然而，自注意力网络在无监督图像到图像翻译任务中的有效性尚未得到验证。本文中，我们提出一种基于自注意力网络的无监督图像到图像翻译方法，其中长程依赖不仅有助于捕捉强烈的几何变化，还能利用所有特征位置的线索生成细节。在实验中，我们从定性和定量上展示了所提方法相对于现有顶尖无监督图像到图像翻译任务的优越性。源代码与我们的结果在线提供：https://github.com/itsss/img2img_sa 和 http://itsc.kr/2019/01/24/2019_img2img_sa
引用
@article{arxiv.1901.08242,
title = {Unsupervised Image-to-Image Translation with Self-Attention Networks},
author = {Taewon Kang and Kwang Hee Lee},
journal= {arXiv preprint arXiv:1901.08242},
year = {2020}
}
备注
Accepted by 2020 IEEE International Conference on Big Data and Smart Computing (IEEE BigComp 2020). This paper has been accepted as a REGULAR paper presented at IEEE International Conference on BigComp 2020. 7 pages, 11 figures; v4: corrected typos, figures