语义引导的 LoRA 参数生成
机器学习
2025-09-16 v1 人工智能
摘要
低秩适应 (LoRA) 在高效微调 AI 模型方面展现出了强大的泛化能力，尤其是在资源受限的边缘端。然而，在现实应用中，边缘用户通常表现出特定的任务偏好，这在封闭世界假设下训练的统一模型难以处理；当训练与部署之间存在显著的领域偏移时，这一挑战会进一步加剧。同时，由于高昂的成本以及对边缘端原始数据使用的隐私担忧，为每个用户重新训练/微调模型也是不切实际的。为了应对这些挑战，我们提出了语义引导的 LoRA 参数生成 (SG-LoRA)，这是一种首创的框架，无需在用户任务上进行任何额外训练或访问用户特定数据，即可高效生成用户特定的 LoRA 参数。具体而言，SG-LoRA 将任务描述作为语义桥梁，在共享嵌入空间中度量其与一组已知专家任务的邻近度。基于这种语义引导，它对目标任务的 LoRA 参数分布进行建模，从而为新任务生成高性能的参数。SG-LoRA 通过从杰出的 LoRA 专家中蒸馏知识，实现了与个人意图对齐的 LoRA 模型的实时构建，同时在本工作提出的新型零样本开放世界设定下，为个性化模型适应提供了一种保护隐私的解决方案。在多个具有挑战性的任务上的广泛实验证实了 SG-LoRA 的卓越性能和出色的适应性。代码可在 https://github.com/keepgoingjkg/SG-LoRA 获取。
引用
@article{arxiv.2509.10535,
title = {Semantic-guided LoRA Parameters Generation},
author = {Miaoge Li and Yang Chen and Zhijie Rao and Can Jiang and Jingcai Guo},
journal= {arXiv preprint arXiv:2509.10535},
year = {2025}
}
备注
19 pages, 9 figures