通过潜空间锚定的域可扩展无配对图像翻译
计算机视觉与模式识别
2023-06-27 v1
摘要
无配对图像到图像翻译（UNIT）旨在无需配对训练数据的情况下将图像在两个视觉域间映射。然而，给定在特定域上训练的 UNIT 模型，当前方法难以纳入新域，因为它们通常需要在已有域和新域上训练完整模型。为解决该问题，我们提出一种新的域可扩展 UNIT 方法，称为潜空间锚定，其可高效扩展至新视觉域，且无需微调已有域的编码器和解码器。我们的方法通过学习轻量编码器与回归器模型来重建单域图像，将不同域的图像锚定到冻结 GAN 的同一潜空间。在推理阶段，不同域学到的编码器与解码器可任意组合，以在任意两域间翻译图像而无需微调。在多个数据集上的实验表明，所提方法在标准与域可扩展 UNIT 任务上均优于最先进方法。
引用
@article{arxiv.2306.14879,
title = {Domain-Scalable Unpaired Image Translation via Latent Space Anchoring},
author = {Siyu Huang and Jie An and Donglai Wei and Zudi Lin and Jiebo Luo and Hanspeter Pfister},
journal= {arXiv preprint arXiv:2306.14879},
year = {2023}
}
备注
Accepeted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). Code is available at https://github.com/siyuhuang/Latent-Space-Anchoring