SCALE-LoRA:基于残差合并与视图可靠性进行后检索 LoRA 组合审计
人工智能
2026-05-05 v1 机器学习
摘要
低秩适应 (LoRA) 适配器的库正在成为参数高效适应的实际副产品。当这些适配器累积时,自然的问题不再是如何为单个任务训练一个适配器,而是如何在仅有小型支持集的情况下复用一个开放的适配器池用于新任务。先前的工作表明,LoRA 模块可以在任务级别进行组合,并在实例级别进行动态选择。然而,开放式 LoRA 重用并非自动化的:检索相关适配器并不保证其参数更新是兼容的,组合适配器也不保证产生可靠的输出。我们引入稀疏组合一致性层 (SCALE),用于开放式 LoRA 重用的后检索审计和组合框架。SCALE 包含可部署的 1.0* 合并路径、层自适应稀疏残差组合 (LASRC),以及用于多视图不一致性的高成本可靠性分析层。LASRC 通过保留线性锚点来消除合并干扰,同时对块状适配器更新方向进行残差化处理。可靠性层将稀疏组合视图之间的不一致性视为可观测的不确定性信号,并在显式路径成本下比较一致性、支持损失代理选择和欧拉头room。在匹配的 FLAN-T5-Large、BIG-Bench Hard (BBH) 和 97-LoRA 实验中,LASRC 在固定检索下给出方向性单视图收益,而 SCALE-support 被报告为一种无查询-标签自由的 3.0* 可靠性分析变体,而非已校准或等效吞吐量的选择器。协议-distinct BBH-8 验证在三个解码器-only 主干模型上显示相同的定性趋势。实验部分报告详细得分、配对审计和路径成本记录。
引用
@article{arxiv.2605.01429,
title = {SCALE-LoRA: Auditing Post-Retrieval LoRA Composition with Residual Merging and View Reliability},
author = {Shuaipeng Zhou and Yu Zhang},
journal= {arXiv preprint arXiv:2605.01429},
year = {2026}
}
备注
12 pages, 1 figure, 6 tables