VeFA：面向稳健模型微调的向量基特征空间适应
机器学习
2026-02-03 v4
摘要
灾难性遗忘是模型微调中广为人知的挑战，尤其当下游领域标注数据有限或与预训练分布差异较大时更为突出。现有的无参数高效微调方法大多在权重空间中通过修改或增强预训练模型的参数来实现，这可能导致模型过度专注于观察到的下游数据。最近的研究表明，这种遗忘的一种机制是微调过程中在表示空间中引入异常维度。为缓解覆盖预训练知识并提升鲁棒性的风险，我们提出了向量基特征适应（VeFA）方法，一种直接在特征空间中进行的微调方法，自然避免生成异常维度。VeFA 对 individual features 进行逐元素适应，从而确保最终微调后的权重始终位于预训练权重矩阵的列空间内。这种特征空间适应视角灵感来自效果等价建模（EEM）的思想，即下游潜在变量导致分布迁移的影响可表示为对观察特征的等效聚合效应。通过在特征层面进行轻量级变换来补偿下游潜在变量的影响，VeFA 能够保留预训练的表示并在分布迁移情境下提升模型的泛化能力。我们在图像分类、NLU 和 NLG 基准测试中将 VeFA 与 LoRA 进行比较，考虑标准微调性能和鲁棒性；在这些任务中，VeFA 在实现相当的微调性能的同时，始终表现出更强的鲁棒性。
引用
@article{arxiv.2510.19155,
title = {VeFA: Vector-Based Feature Space Adaptation for Robust Model Fine-Tuning},
author = {Peng Wang and Minghao Gu and Qiang Huang},
journal= {arXiv preprint arXiv:2510.19155},
year = {2026}
}