基于预训练大规模模型的任意风格迁移框架 SPAST
计算机视觉与模式识别
2025-05-14 v1
摘要
给定任意内容图像和风格图像，任意风格迁移旨在生成保持内容图像结构并具备风格图像风格的新 stylized 图像。现有的任意风格迁移方法基于小型模型或预训练大规模模型。小型模型方法难以生成高质量的 stylized 图像，导致人工痕迹和不和谐的图案。预训练大规模模型方法可以生成高质量的 stylized 图像，但难以保持内容结构且推理时间较长。为此，我们提出一种新框架，称为 SPAST，用于在较短的推理时间内生成高质量的 stylized 图像。具体而言，我们设计了一种新的 Local-global 窗口大小风格化模块 (LGWSSM) 来融合风格特征到内容特征中。此外，我们引入一种新的风格先验损失，从预训练大规模模型中提取风格先验到 SPAST 中，并激励 SPAST 在较短的推理时间内生成高质量的 stylized 图像。我们进行大量实验验证，我们提出的方法能够生成高质量的 stylized 图像且推理时间更短，与现有的 SOTA 任意风格迁移方法相比较。
关键词
引用
@article{arxiv.2505.08695,
title = {SPAST: Arbitrary Style Transfer with Style Priors via Pre-trained Large-scale Model},
author = {Zhanjie Zhang and Quanwei Zhang and Junsheng Luan and Mengyuan Yang and Yun Wang and Lei Zhao},
journal= {arXiv preprint arXiv:2505.08695},
year = {2025}
}
备注
Accepted by Neural Networks