LoRA 在移动端：实例级动态 LoRA 选择与合并
计算与语言
2026-04-21 v3 人工智能
机器学习
摘要
低秩适配（LoRA）已成为微调大型语言模型的高效方法。然而，传统的 LoRA 适配器通常为单一任务训练，限制了其在实际场景中的应用，因为输入可能涵盖多样且不可预测的领域。推理时，现有方法会组合多个 LoRAs 以提升对多任务的适应性，但通常需要标注数据或额外的任务特定训练，在大规模应用中成本较高。本文引入 LoRA on the Go（LoGo），一个无需额外要求的训练免费框架，可在实例级别动态选择和合并适配器。LoGo 利用从 LoRA 适配器单次前向传播中提取的信号，实时识别最相关的适配器并确定其贡献。我们在 5 个 NLP 基准、27 个数据集和 3 个模型族中进行实验，LoGo 在部分任务上比基于训练的基线方法高出最多 3.6%，同时在其他任务上保持竞争力并维持推理吞吐量，凸显了其有效性和实用性。
引用
@article{arxiv.2511.07129,
title = {LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging},
author = {Seungeon Lee and Soumi Das and Manish Gupta and Krishna P. Gummadi},
journal= {arXiv preprint arXiv:2511.07129},
year = {2026}
}
备注
Accepted as a main conference paper in ACL 2026