SAMoRA：面向任务自适应学习的语义感知 LoRA 混合专家
计算与语言
2026-04-22 v1 人工智能
信息检索
摘要
混合专家（MoE）与低秩适应（LoRA）的结合已显示出显著潜力用于增强大型语言模型的多任务学习能力。然而，现有方法面临两个主要挑战：（1）当前 MoE-LoRA 方法中的路由不精确，未能明确匹配输入语义与专家能力，从而导致专家专业化不足；（2）统一的权重融合策略难以提供自适应的更新强度，忽视了不同任务的复杂性差异。为解决这些限制，我们提出SAMoRA（Semantic-Aware Mixture of LoRA Experts），一个为任务自适应学习量身定制的新型参数高效微调框架。具体而言，我们提出了语义感知路由器（Semantic-Aware Router），用于显式对齐文本语义与最合适的专家，以实现精确路由。设计了任务自适应缩放机制（Task-Adaptive Scaling），以动态调整专家贡献，基于特定任务需求。此外，提出了一种新型规则化目标，用于联合促进专家专业化和有效缩放。在多个多任务基准上的大量实验表明，SAMoRA 显著优于最先进的方法，并展现出卓越的任务泛化能力。代码已公开于 https://github.com/boyan-code/SAMoRA。
引用
@article{arxiv.2604.19047,
title = {RARE: Redundancy-Aware Retrieval Evaluation Framework for High-Similarity Corpora},
author = {Hanjun Cho and Jay-Yoon Lee},
journal= {arXiv preprint arXiv:2604.19047},
year = {2026}
}
备注
Accepted to ACL 2026 (Main Conference)