RIFLE：通过重新初始化全连接层实现深度迁移学习中的反向传播深化
机器学习
2020-07-08 v1 计算机视觉与模式识别
机器学习
摘要
使用预训练模型微调深度卷积神经网络（CNN）有助于将大型数据集上学到的知识迁移到目标任务。尽管即使训练数据集较小时准确率也能大幅提升，但迁移学习结果通常受限于具有相近 CNN 权重的预训练模型（Liu 等，2019），因为此处反向传播给较深 CNN 层带来的更新较小。在这项工作中，我们提出 RIFLE——一种简单而有效的策略，通过在微调过程中周期性地使用随机初始化重新初始化全连接层（Re-Initializing the Fully-connected LayEr），在迁移学习设置中深化反向传播。RIFLE 为深度 CNN 层的权重带来有意义的更新并改善低级特征学习，而随机化的影响可在整个学习过程中轻易收敛。实验表明，在相同设置下，RIFLE 的使用在广泛的数据集上显著提高了深度迁移学习准确率，优于已知的类似用途技巧，如 Dropout、DropConnect、StochasticDepth、Disturb Label 和 Cyclic Learning Rate，测试准确率高出 0.5% - 2%。实证案例和消融研究进一步表明 RIFLE 为深度 CNN 层带来有意义的更新且准确率得到提升。
引用
@article{arxiv.2007.03349,
title = {RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr},
author = {Xingjian Li and Haoyi Xiong and Haozhe An and Chengzhong Xu and Dejing Dou},
journal= {arXiv preprint arXiv:2007.03349},
year = {2020}
}
备注
Accepted by ICML'2020