使深度迁移学习永不受损
机器学习
2019-11-19 v1 机器学习
摘要
迁移学习常通过引入预训练网络的权重作为正则化优化的起点来改进深度神经网络训练。虽然深度迁移学习通常能以更高精度和更快收敛提升性能，但从不合适的网络迁移权重会损害训练过程并可能导致更低的精度。本文中，我们将深度迁移学习视为基于预训练权重的最小化经验损失与正则化项的线性组合，其中正则化项会通过冲突的下降方向（如导数）限制训练过程降低经验损失。遵循该观点，我们提出一种新颖策略，使基于正则化的深度迁移学习永不受损（DTNH）：在训练的每次迭代中，分别计算两项的导数，然后重新估计一个新的下降方向，该方向在保持预训练权重正则化影响的同时不损害经验损失最小化。我们使用常见的迁移学习正则化器（如 L2-SP 和知识蒸馏）在广泛的深度迁移学习基准（包括 Caltech、MIT indoor 67、CIFAR-10 和 ImageNet）上进行了大量实验。实证结果表明，所提出的下降方向估计策略 DTNH 基于上述所有正则化器均能提升深度迁移学习任务性能，即便从不合适网络迁移预训练权重时亦如此。总之，DTNH 策略在所有实验中均能以 0.1%–7% 的更高精度改进最先进的正则化器。
引用
@article{arxiv.1911.07489,
title = {Towards Making Deep Transfer Learning Never Hurt},
author = {Ruosi Wan and Haoyi Xiong and Xingjian Li and Zhanxing Zhu and Jun Huan},
journal= {arXiv preprint arXiv:1911.07489},
year = {2019}
}
备注
10 pages