CLIPstyler:基于单一文本条件的图像风格迁移
计算机视觉与模式识别
2022-03-22 v3 计算与语言
图像与视频处理
摘要
现有的神经风格迁移方法需要参考风格图像,以将风格图像的纹理信息迁移到内容图像。然而,在许多实际场景中,用户可能没有参考风格图像,但仍希望通过想象来迁移风格。为应对此类应用,我们提出了一种新框架,无需风格图像、仅通过所需风格的文本描述即可实现风格迁移。利用 CLIP 的预训练文本-图像嵌入模型,我们展示了仅用单一文本条件对内容图像风格进行调制。具体而言,我们提出了一种带多视角增强的块级文本-图像匹配损失,以实现逼真的纹理迁移。大量实验结果证实了成功的图像风格迁移,其逼真纹理反映了语义查询文本。
引用
@article{arxiv.2112.00374,
title = {CLIPstyler: Image Style Transfer with a Single Text Condition},
author = {Gihyun Kwon and Jong Chul Ye},
journal= {arXiv preprint arXiv:2112.00374},
year = {2022}
}
备注
CVPR 2022 camera ready