RoSA：基于RoPE感知的选择性适配提升参数高效微调
计算与语言
2025-12-01 v1 人工智能
摘要
大型语言模型的微调对于任务特定适配至为重要，但仍因计算资源限制而昂贵。参数高效微调（PEFT）方法已作为解决方案，但现有方法通常忽视模型组件的不同作用以及跨层的异构重要性，从而限制了适应效率。基于我们观察到旋转位置嵌入（RoPE）在注意力状态低频维度中诱导关键激活值的观察，我们提出 RoPE 感知选择性适配（RoSA），一种新的 PEFT 框架，旨在更有针对性和有效地分配可训练参数。RoSA 包含一种 RoPE 感知注意力增强（RoAE）模块， selectively enhances the low-frequency components of RoPE-influenced attention states，以及一种动态层选择（DLS）策略，基于 LayerNorm 梯度范数自适应识别和更新最关键的层。通过将维度级增强与层级适配相结合，RoSA 实现了更精准和高效的微调。在 15 个常识和算术基准测试上的大规模实验表明，RoSA 在可比可训练参数下优于现有主流 PEFT 方法。代码已公开于 https://github.com/Applied-Machine-Learning-Lab/RoSA 以便复现。
引用
@article{arxiv.2511.21733,
title = {RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models},
author = {Dayan Pan and Jingyuan Wang and Yilong Zhou and Jiawei Cheng and Pengyue Jia and Xiangyu Zhao},
journal= {arXiv preprint arXiv:2511.21733},
year = {2025}
}
备注
Accepted by AAAI' 26