次要但非末尾:基于中间主成分的微调以实现更佳的性能-遗忘权衡
机器学习
2026-02-04 v1
摘要
低秩适应(LoRA)方法已成为受计算和内存约束时,将大规模预训练模型适配到下游任务的关键技术。然而,它们面临在任务特定性能提升与灾难性遗忘预训练知识之间进行权衡的根本挑战,而现有方法提供的建议不一致。本文对使用主成分作为初始化进行的低秩适应中固有的性能-遗忘权衡进行全面分析。我们的调查发现,对中间组件进行微调可实现更好的平衡,并对高学习率更具鲁棒性,优于现有工作中基于第一个主成分(PiSSA)和最后一个主成分(MiLoRA)的方法。基于这些发现,我们提供一种实用的 LoRA 初始化方法,以提供优越的权衡。我们在广泛的计算机视觉和自然语言处理任务上进行彻底的实证研究,表明该方法提升了准确率并减少了遗忘,即使在持续学习场景中亦亦如此。
引用
@article{arxiv.2602.03493,
title = {Least but not Last: Fine-tuning Intermediate Principal Components for Better Performance-Forgetting Trade-Offs},
author = {Alessio Quercia and Arya Bangun and Ira Assent and Hanno Scharr},
journal= {arXiv preprint arXiv:2602.03493},
year = {2026}
}