探索微调中的表示不变性
计算机视觉与模式识别
2025-10-07 v3
摘要
在大规模自然图像上预训练的基础模型被广泛适配于各种跨领域的低资源下游任务，这得益于其表示所捕获的泛化与可迁移模式。然而，后续发现这些表示在微调过程中会逐渐消失，并伴随模型原始泛化能力的退化。在本文中，我们论证此类任务可以在不牺牲预训练表示优势的情况下得到有效适配。我们通过引入表示不变性微调（Representation Invariance FineTuning, RIFT）来实现这一点，这是一种以计算高效的方式利用流形的正交不变性来最大化预训练模型与微调模型之间表示相似性的正则化方法。实验表明，我们的方法与主流微调方法兼容，提供了具有竞争力甚至更优的性能，并更好地保持了泛化能力。
引用
@article{arxiv.2503.07399,
title = {Exploring Representation Invariance in Finetuning},
author = {Wenqiang Zu and Shenghao Xie and Hao Chen and Zhiqiang Chen and Liwen Hu and Yuanhao Xi and Yiming Liang and Junliang Ye and Bo Lei and Tiejun Huang and Guoqi Li and Lei Ma},
journal= {arXiv preprint arXiv:2503.07399},
year = {2025}
}