基于软微调的有效领域知识迁移
计算机视觉与模式识别
2019-09-06 v1
摘要
卷积神经网络训练需要大量数据。考虑到某些特定任务中数据收集与标注的困难，现有方法通常使用在大型源领域（如 ImageNet）上预训练的模型，然后在这些任务上微调。然而，源领域的数据集在微调过程中被简单丢弃。我们认为源数据集可被更好地利用并有益于微调。本文首先引入通用判别力这一概念来描述网络区分未训练模式的能力，随后通过实验证明通用判别力可潜在增强在目标领域上的总体判别能力。此外，我们提出一种新颖且轻量的方法，即软微调。不同于传统微调直接将优化目标替换为目标领域的损失函数，软微调通过保留先前的损失并软性移除它来有效保持通用判别力。如此，软微调提升了网络对数据偏置的鲁棒性，同时加速了收敛。我们在若干视觉识别任务上评估了该方法。大量实验结果支持软微调在所有评估任务上提供了一致提升，并显著优于当前最优（SOTA）方法。代码将公开。
引用
@article{arxiv.1909.02236,
title = {Effective Domain Knowledge Transfer with Soft Fine-tuning},
author = {Zhichen Zhao and Bowen Zhang and Yuning Jiang and Li Xu and Lei Li and Wei-Ying Ma},
journal= {arXiv preprint arXiv:1909.02236},
year = {2019}
}