基于频率的动态LoRA开关用于风格迁移
计算机视觉与模式识别
2026-04-14 v1 人工智能
摘要
随着针对不同场景和物体的开源适配器在同一扩散主干上受到广泛可用，组合这些预训练权重可实现低成本的定制化生成。然而,大多数现有模型合并方法针对分类或文本生成设计,用于图像生成时会因跨多个扩散步骤中的误差累积而导致内容漂移。针对图像的方法,训练方法计算昂贵且不适用于边缘部署,而训练无关方法采用统一融合策略,忽视适配器间的差异,导致细节退化。我们发现由于不同适配器针对生成不同类型内容,每个扩散步骤的贡献对每个适配器的重要性不同。因此,我们提出了基于频率域重要性驱动的动态LoRA开关方法。此外,我们观察到在适配器之间保持语义一致性可有效缓解细节损失;因此,我们设计了自动化的生成对齐机制,在语义层面对齐生成意图。实验表明,FREE-Switch(基于频率的高效动态LoRA开关)框架有效地将不同物体和风格的适配器组合在一起,大幅降低了高质量定制化生成的训练成本。
引用
@article{arxiv.2604.10023,
title = {FREE-Switch: Frequency-based Dynamic LoRA Switch for Style Transfer},
author = {Shenghe Zheng and Minyu Zhang and Tianhao Liu and Hongzhi Wang},
journal= {arXiv preprint arXiv:2604.10023},
year = {2026}
}
备注
CVPR Findings 2026