SEQR：基于二维码的安全高效LoRA路由
计算与语言
2025-09-23 v1 人工智能
机器学习
摘要
低秩适应（LoRA）已成为大语言模型参数高效微调的标准技术，使大型LoRA库得以实现，每个LoRA针对特定任务或领域。高效选择给定输入对应的正确LoRA适配器仍是挑战，尤其是在需要保护隐私的安全环境中，监督式路由器的训练可能引发隐私问题。受前述方法启发，本文将无监督LoRA路由 formalized 为激活范数最大化，提供了分析框架。我们展示了激活范数的判别力，提出SEQR，一种旨在最大化效率同时提供严格路由保证的无监督LoRA路由算法。SEQR可在显著优于单独方法的效率下，识别出最大化范数的适配器，成为动态LoRA组合的高可扩展且高效解决方案。我们通过实验验证了结果，表明其在改进多任务性能和效率方面具有优势。
引用
@article{arxiv.2509.18093,
title = {SEQR: Secure and Efficient QR-based LoRA Routing},
author = {William Fleshman and Benjamin Van Durme},
journal= {arXiv preprint arXiv:2509.18093},
year = {2025}
}