SHUNIT：面向非配对图像到图像翻译的风格协调方法
计算机视觉与模式识别
2023-01-13 v1
摘要
我们提出了一种用于非配对图像到图像（I2I）翻译的新方案。为了将具有广泛物体的复杂图像翻译到不同域，近期方法常利用物体标注执行逐类的源到目标风格映射。然而，在 I2I 中仍有一点可供我们利用。每一类中的物体由多个部件组成，且所有子物体部件具有不同特征。例如，CAR 类中的汽车由车身、轮胎、车窗及前后灯等组成，为实现逼真的 I2I 翻译应分别处理它们。该问题的最简解是使用比简单物体标注更细致、带子物体部件标注的标注，但这不可行。本文的核心思想是通过利用输入图像的原始风格来规避子物体部件标注，因为原始风格将包含子物体部件特征的信息。具体而言，对每个像素，我们不仅使用源域与目标域间的逐类风格差异，还使用该像素的原始风格来确定其目标风格。为此，我们提出面向非配对 I2I 翻译的风格协调（SHUNIT）。我们的 SHUNIT 通过协调从类记忆中检索的目标域风格与原始源图像风格来生成新风格。我们旨在实现源与目标风格的协调，而非直接的源到目标风格映射。我们通过大量实验验证方法，并在最新基准集上取得最先进（state-of-the-art）性能。源代码在线可用：https://github.com/bluejangbaljang/SHUNIT。
引用
@article{arxiv.2301.04685,
title = {SHUNIT: Style Harmonization for Unpaired Image-to-Image Translation},
author = {Seokbeom Song and Suhyeon Lee and Hongje Seong and Kyoungwon Min and Euntai Kim},
journal= {arXiv preprint arXiv:2301.04685},
year = {2023}
}
备注
Accepted to AAAI 2023