AutoTune：自动调优卷积神经网络以改进迁移学习
计算机视觉与模式识别
2020-12-04 v2 机器学习
摘要
迁移学习通过使用在大规模数据集上训练的预训练深度网络，使得在数据有限的情况下解决特定任务成为可能。通常，在将学习到的知识从源任务迁移到目标任务时，最后几层会在目标数据集上进行微调（重新训练）。然而，这些层最初是为源任务设计的，可能并不适合目标任务。本文引入了一种自动调优卷积神经网络（CNN）以改进迁移学习的机制。预训练的CNN层利用来自目标数据的知识，通过贝叶斯优化进行调优。首先，我们通过将softmax层中的神经元数量替换为目标任务涉及的类别数量，来训练基础CNN模型的最后一层。接下来，通过观察验证数据上的分类性能（贪心准则），自动调优预训练的CNN。为评估所提方法的性能，我们在三个基准数据集（CalTech-101、CalTech-256和Stanford Dogs）上进行了实验。通过所提出的AutoTune方法获得的分类结果优于标准的基线迁移学习方法，在CalTech-101、CalTech-256和Stanford Dogs上分别达到了95.92%、86.54%和84.67%的准确率。本研究中获得的实验结果表明，利用目标数据集的知识调优预训练的CNN层，能够赋予更好的迁移学习能力。源代码可在https://github.com/JekyllAndHyde8999/AutoTune_CNN_TransferLearning获取。
引用
@article{arxiv.2005.02165,
title = {AutoTune: Automatically Tuning Convolutional Neural Networks for Improved Transfer Learning},
author = {S. H. Shabbeer Basha and Sravan Kumar Vinakota and Viswanath Pulabaigari and Snehasis Mukherjee and Shiv Ram Dubey},
journal= {arXiv preprint arXiv:2005.02165},
year = {2020}
}
备注
This paper is published in Neural Networks journal