CrossKD：面向目标检测的交叉检测头知识蒸馏
计算机视觉与模式识别
2024-04-16 v2
摘要
知识蒸馏(KD)已被验证为一种用于学习紧凑目标检测器的有效模型压缩技术。现有最先进的目标检测 KD 方法大多基于特征模仿。本文提出一种通用且有效的预测模仿蒸馏方案，称为 CrossKD，其将学生检测头的中间特征送入教师检测头。由此得到的交叉检测头预测结果随后被强制模仿教师的预测。这种方式使学生检测头免于同时接受来自标注和教师预测的相互矛盾的监督信号，大幅提升了学生的检测性能。此外，由于模仿教师预测是 KD 的目标，与特征模仿相比，CrossKD 提供了更具任务导向的信息。在 MS COCO 上，仅应用预测模仿损失，我们的 CrossKD 将 GFL ResNet-50 在 1x 训练 schedule 下的平均精度从 40.2 提升至 43.7，优于所有现有 KD 方法。此外，当蒸馏具有异构骨干网络的检测器时，我们的方法同样表现良好。代码见 https://github.com/jbwang1997/CrossKD。
引用
@article{arxiv.2306.11369,
title = {CrossKD: Cross-Head Knowledge Distillation for Object Detection},
author = {Jiabao Wang and Yuming Chen and Zhaohui Zheng and Xiang Li and Ming-Ming Cheng and Qibin Hou},
journal= {arXiv preprint arXiv:2306.11369},
year = {2024}
}