主题或风格：无训练适应性LoRA混合方法
计算机视觉与模式识别
2025-08-05 v1 计算与语言
摘要
通过Low-Rank Adaptation（LoRA）进行的模型微调在主题驱动或风格驱动生成任务中展现出卓越性能。研究人员已探索不同LoRA的组合，以联合生成所学习的风格和内容。然而，现有方法在平衡原始主题与风格方面存在困难，常需额外训练。最近，K-LoRA 提出了一种无训练LoRA融合方法。但其涉及多个超参数，难以适用于所有风格和主题。本文提出EST-LoRA，一种无训练自适应LoRA融合方法。它全面考虑三个关键因素：矩阵能量、风格差异得分和时间步长。类似于Mixture of Experts（MoE）架构，模型在每个注意力层内自适应选择主题LoRA与风格LoRA。这种集成选择机制确保了生成过程中两个组件的平衡贡献。实验结果表明，EST-LoRA在定性和定量评估方面均优于最先进的方法，并实现了比其他高效融合方法更快的生成速度。我们的代码已公开于 https://anonymous.4open.science/r/EST-LoRA-F318。
引用
@article{arxiv.2508.02165,
title = {Subject or Style: Adaptive and Training-Free Mixture of LoRAs},
author = {Jia-Chen Zhang and Yu-Jie Xiong},
journal= {arXiv preprint arXiv:2508.02165},
year = {2025}
}