PEFT-Arena：从稳定-塑性视角理解参数高效微调
机器学习
2026-05-28 v1 计算与语言
摘要
参数高效微调（PEFT）已成为大语言模型适应的标准方法，但评估主要侧重下游准确率，忽视了预训练能力的保留。在我们看来，PEFT应通过稳定-塑性困境：即目标任务适应性与抗忘记性之间的权衡来进行评估。我们引入PEFT-Arena，一个同时衡量下游性能和通用能力保留的基准。在各种方法下，我们发现存在不同的稳定-塑性轮廓；在相当相同的参数预算下，正交微调实现了最有利的Pareto前沿。为解释这些差异，我们从两个几何视角分析PEFT更新。在权重空间，谱分析揭示了参数化如何与预训练的奇异值结构相互作用。在激活空间，保留指标显示微调是否保留或扭曲通用能力表示，忘记与非等距表示扭曲有关。最后，分析显示最终的SFT检查点常常超越更好的目标-保留操作点。受此启发，我们提出了基于路径级重绞线的后处理改进案例研究。
引用
@article{arxiv.2605.28819,
title = {PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective},
author = {Yangyi Huang and Ruotian Peng and Zeju Qiu and Jiale Kang and Yandong Wen and Bernhard Schölkopf and Weiyang Liu},
journal= {arXiv preprint arXiv:2605.28819},
year = {2026}
}
备注
Technical report v1 (28 pages, 9 figures, project page: https://spherelab.ai/PEFT-Arena/)