U-GAT-IT：用于图像到图像翻译的带自适应层-实例归一化的无监督生成注意力网络
计算机视觉与模式识别
2020-04-09 v4 图像与视频处理
摘要
我们提出了一种新颖的无监督图像到图像翻译方法，该方法以端到端方式引入了新的注意力模块和新的可学习归一化函数。注意力模块基于辅助分类器获得的注意力图，引导我们的模型关注区分源域和目标域的更重要区域。与以往无法处理域间几何变化的基于注意力的方法不同，我们的模型能够翻译既需要整体变化又需要大形状变化的图像。此外，我们新的AdaLIN（自适应层-实例归一化，Adaptive Layer-Instance Normalization）函数通过依赖于数据集的学习参数，帮助我们的注意力引导模型灵活控制形状和纹理的变化量。实验结果表明，与具有固定网络架构和超参数的现有最先进（SOTA）模型相比，所提方法具有优越性。我们的代码和数据集可在 https://github.com/taki0112/UGATIT 或 https://github.com/znxlwm/UGATIT-pytorch 获取。
引用
@article{arxiv.1907.10830,
title = {U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation},
author = {Junho Kim and Minjae Kim and Hyeonwoo Kang and Kwanghee Lee},
journal= {arXiv preprint arXiv:1907.10830},
year = {2020}
}
备注
Accepted to ICLR 2020