用于迁移学习的门控迁移网络

在拥有充足标注训练数据集的条件下，深度神经网络已在计算机视觉领域带来一系列突破。对于标注数据有限的新任务，主流方法是通过微调将预训练模型中学到的知识迁移到新任务。经典的模型微调利用了训练良好的神经网络似乎学习到跨域特征这一事实。在迁移学习中这些特征被同等对待。本文中，我们通过引入一个迁移模块来探索模型微调中特征选择的影响，该模块对预训练模型提取的特征赋予权重。所提出的迁移模块证明了特征选择对于将模型从源域迁移到目标域的重要性。结果表明，仅以极小的额外计算代价即可显著改进微调结果。我们还引入一个辅助分类器作为额外正则化器以避免过拟合。最后，我们基于该迁移模块构建了门控迁移网络（GTN），并在六项不同任务上取得了最先进的（SOTA）结果。