基于知识蒸馏的任务特定场景可扩展卷积神经网络
计算机视觉与模式识别
2017-01-09 v2
摘要
在本文中，我们探讨了卷积神经网络中随视觉任务复杂度而变化的冗余。考虑到许多前端视觉系统仅对有限范围的视觉目标感兴趣，去除任务特定的网络冗余可以促进广泛的潜在应用。我们提出了一种任务特定的知识蒸馏算法，以导出一个具有预设计算成本且精度损失最小化的简化模型，该模型非常适合资源受限的前端系统。在 MNIST 和 CIFAR10 数据集上的实验证明了所提方法的可行性以及任务特定冗余的存在。
引用
@article{arxiv.1609.05695,
title = {A scalable convolutional neural network for task-specified scenarios via knowledge distillation},
author = {Mengnan Shi and Fei Qin and Qixiang Ye and Zhenjun Han and Jianbin Jiao},
journal= {arXiv preprint arXiv:1609.05695},
year = {2017}
}