面向多任务干扰的张量化聚类 LoRA 合并
机器学习
2025-08-07 v1
摘要
尽管大语言模型（LLMs）的单体密集范式取得了成功，但 LoRA 适配器通过微调小型特定任务模块并将其与基础模型合并，提供了一种高效的解决方案。然而，在多任务设置中，合并在异构源上训练的 LoRA 适配器经常导致任务干扰，从而降低下游性能。为了解决这一问题，我们提出了一个张量化聚类 LoRA（TC-LoRA）库，旨在解决文本级和参数级的任务干扰。在文本级，我们在嵌入空间中对训练样本进行聚类以捕获输入格式的相似性，然后为每个聚类训练一个专门的 LoRA 适配器。在参数级，我们引入了联合 Canonical Polyadic (CP) 分解，以解耦 LoRA 适配器间的特定任务因子和共享因子。这种联合分解在保留必要知识的同时减少了跨任务干扰。在域外零样本和技能组合任务（包括推理、问答和编程）上进行了广泛实验。与基于 SVD 的强基线相比，TC-LoRA 在 Phi-3 上实现了 +1.4% 的准确率提升，在 Mistral-7B 上实现了 +2.3% 的提升，证明了 TC-LoRA 在 LLM 适应中的有效性。
引用
@article{arxiv.2508.03999,
title = {Tensorized Clustered LoRA Merging for Multi-Task Interference},
author = {Zhan Su and Fengran Mo and Guojun Liang and Jinghan Zhang and Bingbing Wen and Prayag Tiwari and Jian-Yun Nie},
journal= {arXiv preprint arXiv:2508.03999},
year = {2025}
}