面向结构一致文本驱动风格迁移的免微调自适应风格融合
计算机视觉与模式识别
2026-01-16 v2
摘要
在这项工作中，我们针对文本到图像 (T2I) 扩散模型背景下的文本驱动风格迁移任务。主要挑战在于如何在实现有效风格迁移效果的同时保持一致的结构。该领域过去的做法直接将内容和风格提示进行拼接以实现提示级别的风格注入，从而导致不可避免的结构扭曲。在这项工作中，我们提出了一种针对文本驱动风格迁移任务的新颖解决方案，即自适应风格融合 (ASI)，以实现细粒度的特征级风格融合。它包含孪生交叉注意力，将单轨交叉注意力解耦为双轨结构以获得独立的内容和风格特征，以及自适应内容-风格混合 模块，以结构一致的方式耦合内容和风格信息。在实验中，我们的方法在结构保持和风格化效果方面均展现出更优的性能。
引用
@article{arxiv.2404.06835,
title = {Tuning-Free Adaptive Style Incorporation for Structure-Consistent Text-Driven Style Transfer},
author = {Yanqi Ge and Jiaqi Liu and Qingnan Fan and Xi Jiang and Ye Huang and Shuai Qin and Hong Gu and Wen Li and Lixin Duan},
journal= {arXiv preprint arXiv:2404.06835},
year = {2026}
}