主题与风格LoRA的动态免训练融合
计算机视觉与模式识别
2026-02-18 v1 人工智能
符号计算
摘要
近期研究探索了组合多个LoRA以同时生成用户指定的主题和风格。然而，大多数现有方法使用偏离LoRA学习自适应特征调整初衷的静态统计启发式来融合LoRA权重，并忽略了采样输入的随机性。为解决此问题，我们提出了一种在生成过程中全程运行的动态免训练融合框架。在前向传播中，在每个应用LoRA的层，我们动态计算基模型原始特征与分别由主题和风格LoRA产生的特征之间的KL散度，并自适应地选择最合适的权重进行融合。在反向去噪阶段，我们通过动态应用基于CLIP和DINO分数等客观指标的梯度校正来进一步优化生成轨迹，提供持续的语义和风格引导。通过在整个扩散时间线上整合这两种互补机制——特征级选择和度量引导的潜在调整——我们的方法无需任何重新训练即可动态实现连贯的主题-风格合成。跨不同主题-风格组合的大量实验表明，我们的方法在定性和定量上均持续优于最先进的LoRA融合方法。
引用
@article{arxiv.2602.15539,
title = {Dynamic Training-Free Fusion of Subject and Style LoRAs},
author = {Qinglong Cao and Yuntian Chen and Chao Ma and Xiaokang Yang},
journal= {arXiv preprint arXiv:2602.15539},
year = {2026}
}