自适应迁移学习：一种简单而有效的迁移学习
机器学习
2021-11-23 v1 计算机视觉与模式识别
摘要
迁移学习(TL)利用先前获得的知识高效学习新任务，并已被用于以有限数据训练深度学习(DL)模型。当TL应用于DL时，预训练(教师)模型被微调以构建特定领域(学生)模型。这种微调依赖于DL模型可分解为分类器和特征提取器这一事实，一系列研究表明相同的特征提取器可用于在多个任务上训练分类器。此外，近期研究提出了多种算法，可微调教师模型的特征提取器以更高效训练学生模型。我们注意到，无论特征提取器如何微调，学生模型的分类器都是用特征提取器的最终输出(即倒数第二层的输出)训练的。然而，最近一项研究提出ResNets中各层特征图可能功能等价，这引发了特征提取器内部的特征图也可用于训练学生模型分类器的可能性。受此启发，我们测试了教师模型隐藏层中的特征图是否可用于提高学生模型的准确率(即TL的效率)。具体而言，我们开发了“自适应迁移学习(ATL)”，它可为TL选择最优特征图集合，并在少样本学习设定下进行了测试。我们的实证评估表明，ATL可帮助DL模型更高效学习，尤其在可用样本有限时。
引用
@article{arxiv.2111.10937,
title = {Adaptive Transfer Learning: a simple but effective transfer learning},
author = {Jung H Lee and Henry J Kvinge and Scott Howland and Zachary New and John Buckheit and Lauren A. Phillips and Elliott Skomski and Jessica Hibler and Courtney D. Corley and Nathan O. Hodas},
journal= {arXiv preprint arXiv:2111.10937},
year = {2021}
}
备注
10 pages, 7 figures