ArtBank：基于预训练扩散模型和隐式风格提示库的艺术风格迁移
计算机视觉与模式识别
2023-12-12 v1
摘要
艺术风格迁移旨在用学习到的艺术风格重新绘制内容图像。现有的艺术风格迁移方法可分为两类：基于小模型的方法和基于预训练大规模模型的方法。基于小模型的方法可以保留内容结构，但无法生成高度逼真的风格化图像，并引入伪影和不和谐图案；基于预训练大规模模型的方法可以生成高度逼真的风格化图像，但难以保留内容结构。为了解决上述问题，我们提出了ArtBank，一种新颖的艺术风格迁移框架，能够在保留内容图像内容结构的同时生成高度逼真的风格化图像。具体来说，为了充分挖掘预训练大规模模型中嵌入的知识，我们设计了一个隐式风格提示库（ISPB），它是一组可训练的参数矩阵，用于从艺术品集合中学习和存储知识，并作为视觉提示引导预训练大规模模型在保留内容结构的同时生成高度逼真的风格化图像。此外，为了加速上述ISPB的训练，我们提出了一种新颖的基于空间统计的自注意力模块（SSAM）。定性和定量实验表明，我们提出的方法优于最先进的艺术风格迁移方法。
引用
@article{arxiv.2312.06135,
title = {ArtBank: Artistic Style Transfer with Pre-trained Diffusion Model and Implicit Style Prompt Bank},
author = {Zhanjie Zhang and Quanwei Zhang and Guangyuan Li and Wei Xing and Lei Zhao and Jiakai Sun and Zehua Lan and Junsheng Luan and Yiling Huang and Huaizhong Lin},
journal= {arXiv preprint arXiv:2312.06135},
year = {2023}
}
备注
Accepted by AAAI2024