蒸馏卷积神经网络中的关键路径
计算机视觉与模式识别
2018-11-09 v2
摘要
由于大多数部署目标的资源限制，当前对神经网络压缩与加速的需求十分广泛。在本文中，通过分析卷积神经网络中的滤波器激活、梯度并可视化滤波器的功能，我们表明较高层的滤波器学习到极度任务特定的特征，这些特征仅对整体任务的一小部分子集、甚至单一类别具有排他性。基于此类发现，我们揭示了不同类别的信息流关键路径。并基于其排他性的内在属性，我们提出了一种关键路径蒸馏方法，能够有效将卷积神经网络定制为模型尺寸更小、计算量更少的小型网络。
引用
@article{arxiv.1811.02643,
title = {Distilling Critical Paths in Convolutional Neural Networks},
author = {Fuxun Yu and Zhuwei Qin and Xiang Chen},
journal= {arXiv preprint arXiv:1811.02643},
year = {2018}
}
备注
Accepted in NIPS18 CDNNRIA workshop