使用跨模态GAN反演的多模态引导图像风格迁移
计算机视觉与模式识别
2023-12-05 v1
摘要
图像风格迁移（IST）是计算机视觉和艺术的跨学科课题，持续吸引着研究者的兴趣。与传统的需要风格参考图像作为输入来定义所需风格的图像引导图像风格迁移（IIST）方法不同，最近的工作开始以文本引导的方式解决该问题，即文本引导图像风格迁移（TIST）。与IIST相比，这种方法通过文本指定的风格提供了更大的灵活性，在难以用参考图像定义风格的情况下非常有用。不幸的是，许多TIST方法在迁移图像中产生不希望的伪影。为了解决这个问题，我们提出了一种新颖的方法，基于文本引导实现了大幅改进的风格迁移。同时，为了提供比IIST和TIST更大的灵活性，我们的方法允许来自多个来源和模态的风格输入，实现了多模态引导图像风格迁移（MMIST）。具体来说，我们通过一种新颖的跨模态GAN反演方法实现了MMIST，该方法生成与指定风格一致的风格表示。这种风格表示促进了风格迁移，并且原则上可以将任何IIST方法推广到MMIST。大规模实验和用户研究表明，我们的方法在TIST任务上达到了最先进的性能。此外，全面的定性结果证实了我们的方法在MMIST任务和跨模态风格插值上的有效性。
引用
@article{arxiv.2312.01671,
title = {Multimodality-guided Image Style Transfer using Cross-modal GAN Inversion},
author = {Hanyu Wang and Pengxiang Wu and Kevin Dela Rosa and Chen Wang and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:2312.01671},
year = {2023}
}
备注
WACV 2024. Project website: https://hywang66.github.io/mmist/