中文

用于内容一致的非配对图像到图像翻译的掩码判别器

计算机视觉与模式识别 2023-09-26 v1 人工智能 图形学 机器学习

摘要

非配对图像到图像翻译的一个常见目标是在模仿目标域风格的同时,保持源图像与翻译图像之间的内容一致性。由于两个域数据集之间的偏差,许多方法受到翻译过程引起的不一致性困扰。大多数用于缓解这些不一致性的方法未对判别器进行约束,导致训练设置更加不适定。此外,这些方法中无一针对较大的裁剪尺寸而设计。在这项工作中,我们表明,用基于内容的掩码对两个域的全局判别器输入进行掩码,足以显著减少内容不一致性。然而,该策略会导致可追溯到掩码过程的伪影。为减少这些伪影,我们引入了在采用相似性采样策略选取的小裁剪对上运行的局部判别器。此外,我们将该采样策略应用于从源数据集和目标数据集采样全局输入裁剪。另外,我们提出特征注意力去归一化,以选择性地将基于内容的统计量整合进生成器流。在我们的实验中,我们表明我们的方法在真实感仿真到真实翻译和天气翻译中达到了最先进性能,并且在白天到夜晚翻译中也表现良好。此外,我们提出了 cKVD 指标,其构建于 sKVD 指标之上,能够在类或类别级别上检验翻译质量。

关键词

引用

@article{arxiv.2309.13188,
  title  = {Masked Discriminators for Content-Consistent Unpaired Image-to-Image Translation},
  author = {Bonifaz Stuhr and Jürgen Brauer and Bernhard Schick and Jordi Gonzàlez},
  journal= {arXiv preprint arXiv:2309.13188},
  year   = {2023}
}

备注

24 pages, 22 figures, under review