通过带有分步感知和层感知提示的稳定扩散实现高度真实的艺术风格迁移
计算机视觉与模式识别
2024-08-13 v3
摘要
艺术风格迁移旨在将学习到的艺术风格迁移到任意内容图像上，生成具有艺术风格的图像。现有的基于生成对抗网络的方法难以生成高度真实的风格化图像，总会引入明显的伪影和不协和的模式。最近，大规模预训练扩散模型为生成高度真实的艺术风格化图像开辟了新途径。然而，扩散模型方法通常难以很好地保留输入内容图像的结构，导致引入不必要的内容结构和风格模式。为此，我们提出一种新型基于预训练扩散模型的艺术风格迁移方法，称为 LSAST，可在不产生明显伪影和不协和风格模式的前提下，生成高度真实的艺术风格化图像，同时良好保留输入内容图像的结构。具体而言，我们引入一种分步感知和层感知提示空间 (Step-aware and Layer-aware Prompt Space)，作为一组可学习的提示符，可以从艺术作品集合中学习风格信息，并动态调整输入图像的内容结构和风格模式。为训练我们的提示空间，我们提出一种新颖的逆方法，称为分步感知和层感知提示逆 (Step-aware and Layer-aware Prompt Inversion)，使提示空间能够学习艺术作品集合的风格信息。此外，我们将预训练的 ControlNet 条件分支注入我们的 LSAST 框架，以进一步提升框架保持内容结构的能力。广泛的实验表明，我们提出的方法能够生成比现有最先进艺术风格迁移方法更高度真实的艺术风格化图像。
引用
@article{arxiv.2404.11474,
title = {Towards Highly Realistic Artistic Style Transfer via Stable Diffusion with Step-aware and Layer-aware Prompt},
author = {Zhanjie Zhang and Quanwei Zhang and Huaizhong Lin and Wei Xing and Juncheng Mo and Shuaicheng Huang and Jinheng Xie and Guangyuan Li and Junsheng Luan and Lei Zhao and Dalong Zhang and Lixia Chen},
journal= {arXiv preprint arXiv:2404.11474},
year = {2024}
}
备注
Accepted by IJCAI2024