SMoA：一种用于参数高效微调的谱系调制适配器
机器学习
2026-05-21 v1 计算与语言
摘要
随着模型参数数量的增加，参数高效微调（PEFT）已成为针对预训练大语言模型进行定制化的首选方法。低秩适应（LoRA）使用低秩更新方法来模拟完整参数微调，这在减少资源需求方面得到了广泛应用。然而，降低秩数会遇到表示能力有限的挑战。理论表明，秩为r的LoRA微调收敛至预训练权重矩阵的前r个奇异值的顶端。随着秩数的增加，保留更多主奇异方向，这通常会提高模型性能。然而，更大的秩数也会引入更多可训练参数，导致更高的计算成本。为克服这一困境，我们提出SMoA（Spectrum Modulation Adapter），在更小的参数预算下扩大可访问的谱系感知更新范围。SMoA将图层划分为多个对齐的谱系块，并为每个对角块应用一个在块内Hadamard调制的低秩分支，从而实现对预训练谱系方向的更广覆盖。我们提供了理论分析和多个任务上的实证结果。在我们的实验中，SMoA在当前较低预算设置下平均性能优于LoRA和具竞争力的LoRA风格基线。
引用
@article{arxiv.2605.21147,
title = {SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning},
author = {Yongkang Liu and Xing Li and Mengjie Zhao and Shanru Zhang and Zijing Wang and Qian Li and Shi Feng and Feiliang Ren and Daling Wang and Hinrich Schütze},
journal= {arXiv preprint arXiv:2605.21147},
year = {2026}
}