自参考深度学习
计算机视觉与模式识别
2018-11-20 v1
摘要
知识蒸馏是将教师神经网络的知识迁移到学生目标网络以满足实际使用中低内存与快速运行需求的有效方法。尽管相较于原始的基于非教师的学习策略能够构建更强的目标网络，该方案还需额外训练一个计算代价昂贵的大型教师模型。本文提出一种自参考深度学习（SRDL）策略。与原始优化及现有知识蒸馏不同，SRDL 将在训练中的目标模型所发现的知识蒸馏回其自身以正则化后续学习过程，从而免除了训练大型教师模型的需要。与原始学习和常规知识蒸馏方法相比，SRDL 以可忽略的额外计算成本提升了模型泛化性能。大量评估表明，多种深度网络均受益于 SRDL，从而在粗粒度物体分类任务（CIFAR10、CIFAR100、Tiny ImageNet 与 ImageNet）和细粒度行人实例识别任务（Market-1501）上获得了增强的部署性能。
引用
@article{arxiv.1811.07598,
title = {Self-Referenced Deep Learning},
author = {Xu Lan and Xiatian Zhu and Shaogang Gong},
journal= {arXiv preprint arXiv:1811.07598},
year = {2018}
}
备注
To Appear in Asian Conference on Computer Vision 2018