StylerDALLE：基于大规模生成模型向量量化分词器的语言引导风格迁移
计算机视觉与模式识别
2023-10-10 v2
摘要
尽管风格迁移任务已取得进展，多数先前工作仅关注迁移颜色或纹理等较简单的特征，而忽略了整体艺术表达或画家特定特质等更抽象的概念。然而，诸如DALL-E或CLIP等模型已在海量图像与文本文档数据集上训练，能够捕捉这些抽象语义。本文提出StylerDALLE，一种利用上述两类模型并以自然语言描述抽象艺术风格的风格迁移方法。具体而言，我们将语言引导的风格迁移任务表述为离散潜空间中的非自回归词元序列翻译，即从输入内容图像到输出风格化图像，该离散潜空间由大规模预训练向量量化分词器（如DALL-E的离散变分自编码器（dVAE））给出。为融入风格信息，我们提出一种基于CLIP语言监督的强化学习策略，可同时保证风格化与内容保持。实验结果证明了本方法的优越性，其能有效利用不同粒度的语言指令迁移艺术风格。代码见https://github.com/zipengxuc/StylerDALLE。
引用
@article{arxiv.2303.09268,
title = {StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model},
author = {Zipeng Xu and Enver Sangineto and Nicu Sebe},
journal= {arXiv preprint arXiv:2303.09268},
year = {2023}
}
备注
ICCV 2023