面向目标检测器的梯度引导知识蒸馏
计算机视觉与模式识别
2023-03-09 v1
摘要
深度学习模型在目标检测中取得了显著成功，但其复杂性与计算密集性阻碍了它们在现实应用（如自动驾驶感知）中的部署。知识蒸馏（KD）是一种推导高效模型的有效方法。然而，仅有少数 KD 方法处理目标检测，且其中大多数侧重于模仿教师模型的普通特征，很少考虑这些特征如何贡献于最终检测。本文提出一种用于目标检测中知识蒸馏的新方法，称为梯度引导知识蒸馏（GKD）。我们的 GKD 利用梯度信息识别并对显著影响检测损失的特征赋予更大权重，使学生能够从教师那里学习最相关的特征。此外，我们提出边界框感知的多粒度特征模仿（BMFI）以进一步提升 KD 性能。在 KITTI 和 COCO-Traffic 数据集上的实验证明了我们的方法在目标检测知识蒸馏中的有效性。在一阶段和两阶段检测器上，我们的 GKD-BMFI 分别带来平均 5.1% 和 3.8% 的 mAP 提升，超越了多种最先进的 KD 方法。
引用
@article{arxiv.2303.04240,
title = {Gradient-Guided Knowledge Distillation for Object Detectors},
author = {Qizhen Lan and Qing Tian},
journal= {arXiv preprint arXiv:2303.04240},
year = {2023}
}
备注
9 pages include references, 4 figures, and 4 tables