翻译什么与在哪里翻译：基于局部掩码的图像到图像翻译
计算机视觉与模式识别
2020-01-22 v2
摘要
近年来，图像到图像翻译受到了显著关注。其中，那些基于包含目标风格信息的样本图像的方法由于能够处理多模态以及在实际使用中的适用性而被积极研究。然而，现有方法存在两个内在问题：翻译什么和在哪里翻译。首先，这些方法从包含噪声信息的整个样本中提取风格，这阻碍了翻译模型正确提取样本的预期风格。也就是说，我们需要仔细确定从样本中提取什么进行迁移。其次，提取的风格被应用于整个输入图像，这在无关图像区域中造成了不必要的失真。对此，我们需要确定在哪里迁移提取的风格。在本文中，我们提出了一种新方法，从样本中取出一个决定迁移什么风格的局部掩码，并从输入图像中取出另一个决定在哪里迁移提取风格的局部掩码。本文的主要新颖性在于（1）高速公路自适应实例归一化技术，以及（2）一个端到端的翻译框架，其在反映样本风格方面取得了出色的性能。我们展示了定量和定性评估结果，以确认我们所提方法的优势。
引用
@article{arxiv.1906.03598,
title = {What and Where to Translate: Local Mask-based Image-to-Image Translation},
author = {Wonwoong Cho and Seunghwan Choi and Junwoo Park and David Keetae Park and Tao Qin and Jaegul Choo},
journal= {arXiv preprint arXiv:1906.03598},
year = {2020}
}