信任教师网络：学习用于行人检测的压缩模型
计算机视觉与模式识别
2016-12-05 v1
摘要
深度卷积神经网络在许多领域持续推动最优性能的发展，随着它们变得更大且更复杂。已有观察表明，大型网络的许多参数是冗余的，从而允许通过称为知识蒸馏（Knowledge Distillation）的过程学习一个模仿大型网络输出的更小网络。然而，我们展示标准的知识蒸馏对于学习用于行人检测任务的小模型并不有效。为改进这一过程，我们引入更高维度的提示层（hint layer）以增加信息流。我们还估计大型网络输出的方差，并提出一种损失函数以纳入这种不确定性。最后，我们尝试通过使用已被证明对行人检测有效的手工设计特征作为输入，在不增加小网络尺寸的情况下提升其复杂度。我们成功训练了一个参数比大型网络少 的模型，同时在 Caltech Pedestrian Dataset 上优于 AlexNet。
引用
@article{arxiv.1612.00478,
title = {In Teacher We Trust: Learning Compressed Models for Pedestrian Detection},
author = {Jonathan Shen and Noranart Vesdapunt and Vishnu N. Boddeti and Kris M. Kitani},
journal= {arXiv preprint arXiv:1612.00478},
year = {2016}
}