StyleStudio：基于选择性控制风格元素的文本驱动风格迁移
计算机视觉与模式识别
2025-03-28 v2
摘要
文本驱动风格迁移旨在将参考图像的风格与由文本提示描述的内容相合并。近期基于文本到图像模型的发展提高了风格转换的细腻程度，但仍面临显著挑战，尤其是对参考风格的过拟合、风格控制受限以及与文本内容错位等问题。本文提出了三种互补策略以解决上述问题。首先，我们引入基于交叉模态的自适应实例归一化（AdaIN）机制，以实现更好的风格与文本特征集成，增强对齐效果。其次，我们开发了基于风格的无条件分类器引导（Style-based Classifier-Free Guidance, SCFG）方法，实现对风格元素的选择性控制，减少无关影响。最后，我们在早期生成阶段融入教师模型，以稳定空间布局并缓解生成 artifacts。我们的广泛评估表明，在风格迁移质量和与文本提示的对齐方面，本方法取得了显著的改进。此外，我们的方法可集成到现有的风格迁移框架中，而无需微调。
引用
@article{arxiv.2412.08503,
title = {StyleStudio: Text-Driven Style Transfer with Selective Control of Style Elements},
author = {Mingkun Lei and Xue Song and Beier Zhu and Hao Wang and Chi Zhang},
journal= {arXiv preprint arXiv:2412.08503},
year = {2025}
}
备注
Accepted by CVPR 2025