面向低比特宽度深度神经网络学习的协作式多教师知识蒸馏
计算机视觉与模式识别
2022-10-31 v1
摘要
知识蒸馏通过从笨重的教师模型中蒸馏知识来学习轻量化的学生模型，是学习紧凑深度神经网络（DNNs）的一种引人关注的方法。近期工作进一步利用多个教师网络来提升学生网络性能。然而，现有大多数基于知识蒸馏的多教师方法使用单独预训练的教师，这限制了教师之间的协作学习以及教师与学生之间的互学习。网络量化是另一种学习紧凑 DNNs 的引人关注的方法。然而，现有大多数网络量化方法在开发和评估时未考虑利用多教师支持来增强量化学生模型的性能。本文提出一种新颖框架，结合多教师知识蒸馏与网络量化以学习低比特宽度 DNNs。所提方法鼓励量化教师之间的协作学习以及量化教师与量化学生之间的互学习。在学习过程中，对应层上来自教师的知识将形成重要性感知的共享知识，该知识将作为后续层教师的输入，并用于指导学生。我们在 CIFAR100 和 ImageNet 数据集上的实验结果表明，采用本发明方法训练的紧凑量化学生模型与其他最先进方法相比取得了具有竞争力的结果，并且在某些情况下确实超越了全精度模型。
引用
@article{arxiv.2210.16103,
title = {Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks},
author = {Cuong Pham and Tuan Hoang and Thanh-Toan Do},
journal= {arXiv preprint arXiv:2210.16103},
year = {2022}
}
备注
Accepted to WACV 2023