NeuroLoRA：基于神经调制的参数高效多任务适应
机器学习
2026-03-16 v1 计算与语言
摘要
参数高效微调（PEFT）技术，特别是低秩适应（LoRA），已成为适配大规模语言模型（LLM）到下游任务的 essential 方法。虽然最近的 FlyLoRA 框架成功利用类生物稀疏随机投影来缓解参数干扰，但它依赖于对输入上下文不敏感的静态、幅度基 routing 机制。在本文中，我们提出 NeuroLoRA，一种受生物神经调制启发的基于混合专家（MoE）的 LoRA 框架——即基于上下文动态调节神经元兴奋性。NeuroLoRA 保留冻结随机投影的计算效率，同时引入轻量级、可学习的神经调制门控器，对投影空间进行上下文相关的比例缩放，然后再进行专家选择。我们进一步提出了对比正交损失，以显式强制专家子空间之间的分离，增强任务解耦和持续学习能力。在 MMLU、GSM8K 和 ScienceQA 上进行的广泛实验表明，NeuroLoRA 在单任务适应、多任务模型合并和顺序持续学习场景中， consistently 超过 FlyLoRA 和其他强大基线，同时保持可比的参数效率。
引用
@article{arxiv.2603.12378,
title = {NeuroLoRA: Context-Aware Neuromodulation for Parameter-Efficient Multi-Task Adaptation},
author = {Yuxin Yang and Haoran Zhang and Mingxuan Li and Jiachen Xu and Ruoxi Shen and Zhenyu Wang and Tianhao Liu and Siqi Chen and Weilin Huang},
journal= {arXiv preprint arXiv:2603.12378},
year = {2026}
}
备注
work in progress