qa-FLoRA：面向大语言模型的无数据查询自适应LoRA融合方法
计算与语言
2025-12-15 v1
摘要
大语言模型在专用任务上的部署通常需要通过低秩适配（LoRA）模块进行领域特定的参数高效微调。然而，有效融合这些适配器以处理复杂的多领域复合查询仍是一个关键挑战。现有的LoRA融合方法要么使用静态权重（对各参与的LoRA赋予同等相关性），要么需要针对每种可能的LoRA组合进行数据密集型的监督训练以获得各自的最优融合权重。我们提出qa-FLoRA，一种新颖的查询自适应且无需数据和训练的LoRA融合方法，通过测量基模型与各适配器之间的分布散度来动态计算层级的融合权重。我们的方法无需复合训练数据或领域代表性样本，因此可直接应用于现有的适配器集合。在涵盖数学、编码和医学领域的九个多语言复合任务上的广泛实验表明，qa-FLoRA相比静态融合在LLaMA-2上提升约5%、在LLaMA-3上提升约6%，相比无训练基线在LLaMA-2上提升约7%、在LLaMA-3上提升约10%，同时显著缩小了与监督基线的差距。此外，对融合权重的层级分析揭示了可解释的融合模式，证明了该方法在鲁棒多领域适配方面的有效性。
引用
@article{arxiv.2512.11366,
title = {qa-FLoRA: Data-free query-adaptive Fusion of LoRAs for LLMs},
author = {Shreya Shukla and Aditya Sriram and Milinda Kuppur Narayanaswamy and Hiteshi Jain},
journal= {arXiv preprint arXiv:2512.11366},
year = {2025}
}
备注
Accepted at AAAI 2026 (Main Technical Track)