教师网络校准改进跨质量知识蒸馏
计算机视觉与模式识别
2023-04-18 v1 人工智能
摘要
我们研究跨质量知识蒸馏（CQKD），这是一种知识蒸馏方法，其中将用全分辨率图像训练的教师网络的知识迁移到以低分辨率图像作为输入的学生网络。由于图像大小是计算机视觉应用计算负载的决定因素，CQKD 通过仅在推理时使用学生网络显著降低了需求。我们的实验结果表明，在大规模图像分类问题中，CQKD 优于监督学习。我们还强调了校准神经网络的重要性：我们表明，通过对教师输出分布进行更高温度的平滑，学生分布表现出更高的熵，这同时带来了更低的校准误差和更高的网络准确率。
引用
@article{arxiv.2304.07593,
title = {Teacher Network Calibration Improves Cross-Quality Knowledge Distillation},
author = {Pia Čuk and Robin Senge and Mikko Lauri and Simone Frintrop},
journal= {arXiv preprint arXiv:2304.07593},
year = {2023}
}
备注
The implementation is available at: https://github.com/PiaCuk/distillistic