重新审视深度学习中可迁移性的两种共识
计算机视觉与模式识别
2022-12-02 v1 机器学习
摘要
深度迁移学习（DTL）长期以来致力于使深度神经网络（DNNs）能像人类一样高效地复用历史经验。这一能力被称为知识可迁移性。DTL 的一种常用范式是首先学习通用知识（预训练），然后将其复用（微调）于特定目标任务。关于预训练 DNN 的可迁移性存在两种共识：（1）预训练与下游数据之间的域差距越大，可迁移性越低；（2）可迁移性从较低层（靠近输入）到较高层（靠近输出）逐渐下降。然而，这些共识基本源于基于自然图像的试验，限制了其应用范围。本文旨在从更广阔的视角研究并补充它们，提出一种度量预训练 DNN 参数可迁移性的方法。我们在十二个多样化图像分类数据集上的实验得到了与先前共识相似的结论。更重要的是，提出了两个新发现：（1）除域差距外，下游目标任务更大的数据量与巨大的数据集多样性也会抑制可迁移性；（2）尽管较低层学习基础图像特征，但由于其域敏感性，它们通常并非最具可迁移性的层。
引用
@article{arxiv.2212.00399,
title = {Rethinking Two Consensuses of the Transferability in Deep Learning},
author = {Yixiong Chen and Jingxian Li and Chris Ding and Li Liu},
journal= {arXiv preprint arXiv:2212.00399},
year = {2022}
}