跨不同表观域与任务类型迁移学习的影响因素
计算机视觉与模式识别
2021-11-23 v2
摘要
迁移学习能够重用源任务上习得的知识以辅助学习目标任务。一种简单的迁移学习形式存在于当前最先进的计算机视觉模型中，即在 ILSVRC 数据集上预训练图像分类模型，然后在任意目标任务上微调。然而，先前对迁移学习的系统性研究有限，且其预期生效的情境尚未被充分理解。本文中，我们对跨越差异极大的图像域（消费照片、自动驾驶、航拍图像、水下、室内场景、合成、特写）和任务类型（语义分割、目标检测、深度估计、关键点检测）的迁移学习进行了广泛的实验探索。重要的是，这些均为与现代计算机视觉应用相关的复杂结构化输出任务类型。我们总计进行了超过 2000 次迁移学习实验，其中包括许多源与目标来自不同图像域、不同任务类型或两者皆不同的情况。我们系统分析这些实验以理解图像域、任务类型和数据集规模对迁移学习性能的影响。我们的研究带来若干见解与具体建议：（1）对大多数任务，存在显著优于 ILSVRC'12 预训练的源；（2）图像域是实现正向迁移的最重要因素；（3）源数据集应“包含”目标任务的图像域以获得最佳结果；（4）同时，我们仅观察到当源任务图像域远宽于目标任务时很小的负向影响；（5）跨任务类型迁移可能有益，但其成功严重依赖于源与目标任务类型。
引用
@article{arxiv.2103.13318,
title = {Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types},
author = {Thomas Mensink and Jasper Uijlings and Alina Kuznetsova and Michael Gygli and Vittorio Ferrari},
journal= {arXiv preprint arXiv:2103.13318},
year = {2021}
}
备注
Accepted for future publication in TPAMI