SpotTune：通过自适应微调进行迁移学习
计算机视觉与模式识别
2018-11-26 v1 机器学习
机器学习
摘要
迁移学习允许源任务影响目标任务的归纳偏置，在计算机视觉中被广泛使用。利用深度神经网络进行迁移学习的典型方法是用目标任务的数据对源任务上预训练的模型进行微调。本文提出一种称为 SpotTune 的自适应微调方法，其为目标数据中的每个样本寻找最优的微调策略。在 SpotTune 中，给定来自目标任务的一幅图像，使用一个策略网络作出路由决策，决定是否将该图像通过微调后的层或预训练的层。我们进行了大量实验以证明所提方法的有效性。我们的方法在 14 个标准数据集中的 12 个上优于传统微调方法。我们还将 SpotTune 与其他最先进的微调策略进行比较，展现出更优的性能。在 Visual Decathlon 数据集上，我们的方法无需额外技巧即取得了全面最高分。
引用
@article{arxiv.1811.08737,
title = {SpotTune: Transfer Learning through Adaptive Fine-tuning},
author = {Yunhui Guo and Honghui Shi and Abhishek Kumar and Kristen Grauman and Tajana Rosing and Rogerio Feris},
journal= {arXiv preprint arXiv:1811.08737},
year = {2018}
}