GP-UNIT：面向通用无监督图像到图像翻译的生成式先验
计算机视觉与模式识别
2023-06-08 v1 机器学习
摘要
深度学习的近期进展见证了众多成功的无监督图像到图像翻译模型，这些模型在无配对数据的情况下学习两个视觉域之间的对应关系。然而，构建尤其是具有剧烈视觉差异的域之间的鲁棒映射仍是一项巨大挑战。本文中，我们引入了一种新颖的通用框架——生成式先验引导的无监督图像到图像翻译（GP-UNIT），它提升了现有翻译模型的质量、适用性和可控性。GP-UNIT 的核心思想是从预训练的类条件 GAN（生成对抗网络）中提炼生成式先验以建立粗粒度跨域对应关系，并将所学先验应用于对抗式翻译中以挖掘细粒度对应关系。借助学到的多级内容对应关系，GP-UNIT 能够在相近域和遥远域之间执行有效翻译。对于相近域，GP-UNIT 可以基于一个参数进行条件控制，以确定翻译过程中内容对应关系的强度，使用户能够平衡内容与风格一致性。对于遥远域，探索了半监督学习以引导 GP-UNIT 发现仅凭外观难以学习的准确语义对应关系。我们通过大量实验验证了 GP-UNIT 相对于当前最优翻译模型在各种域间鲁棒、高质量和多样化翻译上的优越性。
引用
@article{arxiv.2306.04636,
title = {GP-UNIT: Generative Prior for Versatile Unsupervised Image-to-Image Translation},
author = {Shuai Yang and Liming Jiang and Ziwei Liu and Chen Change Loy},
journal= {arXiv preprint arXiv:2306.04636},
year = {2023}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). Code: https://github.com/williamyang1991/GP-UNIT Project page: https://www.mmlab-ntu.com/project/gpunit/. arXiv admin note: substantial text overlap with arXiv:2204.03641