MASA：通过多 A 共享适应重新思考 LoRA 中的表示瓶颈
材料科学
2026-04-08 v1 介观与纳米尺度物理
其他凝聚态物理
摘要
低秩适应（LoRA）已成为大型语言模型参数高效微调（PEFT）的主导方法，它在 transformer 层上附加一个下行投影矩阵 A 和一个上行投影矩阵 B。然而，LoRA 对单一下行投影矩阵（A）的依赖造成了表示瓶颈，因为这个单一特征提取器本质上不足以捕获复杂任务所需的多样化信号。这促使我们进行架构转变，专注于丰富特征适应以提升下游任务适应能力。我们提出了 MASA（Multi-A Shared Adaptation），一种实现多 A、单 B 结构的架构，其中多 A 专家集成在层间非对称共享以确保参数效率。在 MASA 中，这些专门化专家捕获多样化特征，然后由单个、层特定的 B 矩阵进行整合。通过涵盖多领域泛化、单领域特化和多任务推理的全面实验套件验证了我们方法的有效性和通用性。例如，在 MMLU 基准测试上，MASA 达到平均准确率 59.62%，比标准 LoRA 高出 1.08 分（相对提升 1.84%），同时保持可比的可学习参数比例 0.52%。
引用
@article{arxiv.2510.06004,
title = {Magnon-Magnon Interaction Induced by Dynamic Coupling in a Hybrid Magnonic Crystal},
author = {Rawnak Sultana and Mojtaba Taghipour Kaffash and Gianluca Gubbiotti and Yi Ji and M. Benjamin Jungfleisch and Federico Montoncello},
journal= {arXiv preprint arXiv:2510.06004},
year = {2026}
}