协同高效微调：利用任务相似性
机器学习
2026-02-10 v1 人工智能
机器学习
摘要
可适应性被视为基础模型的核心特征，使其能够有效地适应不可见的下游任务。参数高效微调方法，如广受欢迎的 LoRA，促进了使用标记化、高质量且通常稀缺任务数据的大型基础模型的高效适配。为缓解基础模型微调中的数据稀缺问题，我们提出利用多个下游用户之间的数据相似性。直观地说，具有相似任务的用户应能够相互帮助以提升有效微调数据的规模。我们提出协同低秩适配 (Collaborative Low-Rank Adaptation, CoLoRA)，利用任务相似性实现针对性地、高效的微调个性化基础模型。CoLoRA 的核心思想是训练一个捕获所有任务之间底层相似性的共享适配器，以及针对用户特定任务的个人化适配器。我们在异构线性回归问题上对 CoLoRA 进行理论分析，并为真实答案恢复提供了可证明的保证。我们还在具有不同任务相似性的自然语言实验中进行了实验，进一步证明在与相似任务共同训练时，个体性能显著提升。
引用
@article{arxiv.2602.07218,
title = {Collaborative and Efficient Fine-tuning: Leveraging Task Similarity},
author = {Gagik Magakyan and Amirhossein Reisizadeh and Chanwoo Park and Pablo A. Parrilo and Asuman Ozdaglar},
journal= {arXiv preprint arXiv:2602.07218},
year = {2026}
}