探索参数迁移中的特征学习
机器学习
2026-01-08 v2
摘要
参数迁移是迁移学习中的核心范式，通过在上游模型和下游模型之间共享模型参数，实现跨任务和跨域的知识复用。然而，当仅将上游模型的子集参数迁移到下游模型时，仍缺乏对此类部分参数复用何时有益以及其有效性决定因素的理论理解。为此，我们分析了上下游模型均为ReLU卷积神经网络（CNN）的设置。在该理论框架下，我们刻画了继承参数如何作为通用知识的载体，并识别了放大其对目标任务有益影响的关键因素。进一步，我们的分析提供了洞见，解释了在某些情况下，参数迁移可能导致下游任务的测试准确率低于从头训练新模型。我们最好的知识是：我们的理论是首个为参数迁移提供动态分析的理论，也是首个从理论上证明负迁移存在的。我们进行了数值实验和真实世界数据实验，以实证验证我们的理论发现。
引用
@article{arxiv.2509.22056,
title = {Towards Understanding Feature Learning in Parameter Transfer},
author = {Hua Yuan and Xuran Meng and Qiufeng Wang and Shiyu Xia and Ning Xu and Xu Yang and Jing Wang and Xin Geng and Yong Rui},
journal= {arXiv preprint arXiv:2509.22056},
year = {2026}
}