通过知识蒸馏的紧凑CNN结构学习
计算机视觉与模式识别
2021-04-20 v1
摘要
压缩深度卷积神经网络（CNNs）的概念对于在嵌入式设备上使用有限的计算、功耗和内存资源至关重要。然而，现有方法以实现该目标为代价，在计算机视觉任务中带来了推理精度的下降。为解决这一缺陷，我们提出了一种框架，利用知识蒸馏与可定制分块优化来学习轻量级CNN结构，同时更好地控制压缩-性能权衡。考虑到特定资源约束，例如每次推理的浮点运算数（FLOPs）或模型参数，我们的方法实现了最先进的网络压缩，同时能够获得更好的推理精度。在综合评估中，我们证明了该方法在各种网络架构和数据集上有效、鲁棒且结果一致，且训练开销可忽略。特别地，对于已然紧凑的MobileNet_v2网络，我们的方法在FLOPs和模型参数方面分别提供了高达2倍和5.2倍的更好模型压缩，同时比基线网络获得1.05%更好的模型性能。
引用
@article{arxiv.2104.09191,
title = {Compact CNN Structure Learning by Knowledge Distillation},
author = {Waqar Ahmed and Andrea Zunino and Pietro Morerio and Vittorio Murino},
journal= {arXiv preprint arXiv:2104.09191},
year = {2021}
}
备注
This paper has been accepted to ICPR 2020