K-LoRA：解锁任意主体与风格 LoRA 的训练免费融合
计算机视觉与模式识别
2025-03-04 v2
摘要
近期研究探索了将不同 LoRA 组合，以联合生成所学习的风格与内容。然而，现有方法要么未能有效同时保留原始主体与风格，要么需要额外的训练。在本文中，我们认为 LoRA 的内在特性能够有效指导扩散模型在合并所学习的主体与风格方面。在此基础上，我们提出 K-LoRA，一种简单而高效的训练免费 LoRA 融合方法。在每个注意力层中，K-LoRA 比较待融合各 LoRA 中元素的 Top-K，确定应选择哪一个 LoRA 以实现最佳融合。这种选择机制确保了在融合过程中保留来自主体与风格的最具代表性特征，从而有效平衡了两者的贡献。实验结果表明，所提方法有效集成了来自原始 LoRA 所学习的主体与风格信息，凭借定性与量化结果均优于最先进的基于训练的方法。
引用
@article{arxiv.2502.18461,
title = {K-LoRA: Unlocking Training-Free Fusion of Any Subject and Style LoRAs},
author = {Ziheng Ouyang and Zhen Li and Qibin Hou},
journal= {arXiv preprint arXiv:2502.18461},
year = {2025}
}
备注
CVPR 2025, Project page: https://k-lora.github.io/K-LoRA.io/