手术式微调改善对分布偏移的适应

在分布偏移下进行迁移学习的一种常见方法是微调预训练模型的最后几层，在保留所学特征的同时适应新任务。本文表明，在此类设定中，选择性地微调一部分层（我们称之为手术式微调）匹配或优于常用的微调方法。此外，分布偏移的类型影响哪部分子集微调更有效：例如，对于图像损坏，仅微调最前面几层效果最佳。我们在跨越三类分布偏移的七个真实世界数据任务上系统地验证了我们的发现。理论上，我们证明在理想化设定下的两层神经网络中，第一层微调可以优于微调所有层。直观上，在小型目标数据集上微调更多参数会导致预训练期间学到的信息被遗忘，而相关信息取决于偏移的类型。