基于扩散转换器的超高质量艺术风格迁移：U-StyDiT
计算机视觉与模式识别
2025-03-12 v1
摘要
超高质量艺术风格迁移指的是使用从风格图像中学习到的风格信息对超高质量内容图像进行重新描绘。现有艺术风格迁移方法可分为基于风格重建和基于内容-风格解耦的风格迁移方法。尽管这些方法可以生成一些艺术化图像，但仍存在明显的伪影和不和谐的图案，阻碍其生成超高质量艺术化图像的能力。为此，我们提出一种新型艺术图像风格迁移方法U-StyDiT，基于转换器式扩散（DiT）构建，学习内容-风格解耦，生成超高质量艺术化图像。具体而言，我们首先设计了多视角风格调制器（Multi-view Style Modulator，MSM），从风格图像中从局部和全局视角学习风格信息，使U-StyDiT能够生成带有所学风格信息的风格化图像。然后，我们引入StyDiT模块，同时从风格图像中学习内容和风格条件。此外，我们提出了一个超高质量艺术图像数据集Aes4M，包含10个类别，每个类别包含400,000张风格图像。该数据集有效解决了现有风格迁移方法因数据集大小和图像质量无法生成高质量艺术化图像的问题。最后，广泛的定性和定量实验验证了U-StyDiT能够创建高于当前最先进艺术风格迁移方法的更高质量风格化图像。鉴于本文提出的方法是首次利用转换器式扩散生成超高质量风格化图像，我们深信其创新性。
引用
@article{arxiv.2503.08157,
title = {U-StyDiT: Ultra-high Quality Artistic Style Transfer Using Diffusion Transformers},
author = {Zhanjie Zhang and Ao Ma and Ke Cao and Jing Wang and Shanyuan Liu and Yuhang Ma and Bo Cheng and Dawei Leng and Yuhui Yin},
journal= {arXiv preprint arXiv:2503.08157},
year = {2025}
}