GaLLoP：基于低幅度参数的梯度稀疍学习
机器学习
2025-10-23 v1 计算与语言
摘要
稀疏微调技术通过仅调整模型参数的稀疏子集来适配大语言模型（LLM）以应对下游任务，但其有效性依赖于对最优参数选择。本文引入一种新颖的稀疏微调方法，名为GaLLoP（Gradient-based Sparse Learning on Low-Magnitude Parameters），即只微调那些在下游任务中梯度幅度最大且预训练幅度最小的参数，从而直观地优先选择高度任务相关但对预训练知识影响最小的参数。我们使用LLaMA3 8B和Gemma 2B作为基础模型进行实验，结果表明GaLLoP在分布内及分布外性能上， consistently improved or matched the in-distribution as well as out-of-distribution performance obtained via the usage of other leading parameter-efficient fine-tuning techniques, including LoRA, DoRA, and SAFT.我们的分析表明，GaLLoP缓解了灾难性遗忘和任务数据记忆问题，因为重要的预训练参数保持不变，并且相对于其他微调技术稳定了性能，能在大多数随机种子上实现稳健的泛化。
引用
@article{arxiv.2510.19778,
title = {GaLLoP: Gradient-based Sparse Learning on Low-Magnitude Parameters},
author = {Anand Choudhary and Yasser Sulaıman and Lukas Mauch and Ghouthi Boukli Hacene and Fabien Cardinaux and Antoine Bosselut},
journal= {arXiv preprint arXiv:2510.19778},
year = {2025}
}