ITstyler：基于文本且图像优化的风格迁移
计算机视觉与模式识别
2023-01-27 v1
摘要
基于文本的风格迁移是一个新兴的研究课题，其使用文本信息而非风格图像来引导迁移过程，显著拓展了风格迁移的应用场景。然而，先前的方法需要额外的优化时间或文本-图像配对数据，导致效果有限。在本工作中，我们实现了一种数据高效的基于文本的风格迁移方法，其在推理阶段无需优化。具体而言，我们将文本输入转换至预训练VGG网络的风格空间，以实现更有效的风格交换。我们还利用CLIP的多模态嵌入空间，仅借助图像数据集学习文本到风格的映射。我们的方法能够实时迁移文本输入的任意新风格，并合成高质量的艺术图像。
引用
@article{arxiv.2301.10916,
title = {ITstyler: Image-optimized Text-based Style Transfer},
author = {Yunpeng Bai and Jiayue Liu and Chao Dong and Chun Yuan},
journal= {arXiv preprint arXiv:2301.10916},
year = {2023}
}
备注
8 pages, 10 figures