DSI2I：用于无配对图像到图像翻译的稠密风格
计算机视觉与模式识别
2024-05-02 v3
摘要
无配对基于样本的图像到图像（UEI2I）翻译旨在将源图像翻译至目标图像域，并带有目标图像样本的风格，且无需真值输入-翻译对。现有 UEI2I 方法使用每幅图像一个向量来表示风格，或依赖语义监督来为每个对象定义一个风格向量。与此相反，我们在此提出将风格表示为稠密特征图，从而允许在不要求任何外部语义信息的情况下对源图像进行更细粒度的迁移。我们随后依赖感知损失与对抗损失来解耦我们的稠密风格与内容表示。为用样本风格对源内容进行风格化，我们提取无监督跨域语义对应并将样本风格扭曲至源内容。我们在四个数据集上利用标准度量以及我们提出的一种局部化风格度量（以类级别方式度量风格相似性）证明了我们方法的有效性。我们的结果表明，与最先进的方法相比，我们方法产生的翻译更具多样性、更好地保留源内容，并且更接近于样本。项目页面：https://github.com/IVRL/dsi2i
引用
@article{arxiv.2212.13253,
title = {DSI2I: Dense Style for Unpaired Image-to-Image Translation},
author = {Baran Ozaydin and Tong Zhang and Sabine Süsstrunk and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2212.13253},
year = {2024}
}
备注
To appear on TMLR '24, Reviewed on OpenReview: https://openreview.net/forum?id=mrJi5kdKA4