NetDistiller：通过原位蒸馏增强微型深度学习
机器学习
2023-11-01 v1 计算机视觉与模式识别
摘要
提升微型神经网络（TNNs）的任务准确率已成为使 TNNs 能够在边缘设备上部署的基本挑战，这些设备受到内存、计算、带宽和电源方面的严格限制。为此，我们提出了一个称为 NetDistiller 的框架，通过将 TNNs 视为通过扩展 TNN 通道数构建的权重共享教师网络的子网络，来提升 TNNs 可达到的准确率。具体而言，目标 TNN 模型与权重共享教师模型通过（1）梯度手术以解决它们之间的梯度冲突，以及（2）不确定性感知蒸馏以减轻教师模型的过拟合，进行联合训练。跨多种任务的广泛实验验证了 NetDistiller 在提升 TNNs 可达到准确率方面优于最先进方法的有效性。我们的代码可在 https://github.com/GATECH-EIC/NetDistiller 获取。
引用
@article{arxiv.2310.19820,
title = {NetDistiller: Empowering Tiny Deep Learning via In-Situ Distillation},
author = {Shunyao Zhang and Yonggan Fu and Shang Wu and Jyotikrishna Dass and Haoran You and Yingyan and Lin},
journal= {arXiv preprint arXiv:2310.19820},
year = {2023}
}