基于排序模仿与预测引导特征仿真的目标检测知识蒸馏
计算机视觉与模式识别
2021-12-10 v1
摘要
知识蒸馏（KD）是一项广泛应用的技术，用于将繁琐教师模型中的信息迁移至紧凑学生模型，从而实现模型压缩与加速。与图像分类相比，目标检测是一项更复杂的任务，设计专用于目标检测的特定 KD 方法并非易事。本工作中，我们细致研究了教师与学生检测模型之间的行为差异，得到两个引人关注的观察：首先，教师与学生对其检测出的候选框的排序颇为不同，这导致了它们的精度差异。其次，教师与学生之间的特征响应差异和预测差异之间存在显著鸿沟，表明等同地模仿教师的所有特征图并非提升学生精度的最优选择。基于这两点观察，我们分别提出了用于蒸馏单阶段检测器的排序模仿（RM）与预测引导特征仿真（PFI）。RM 将教师候选框的排序作为一种新知识形式用于蒸馏，持续优于传统的软标签蒸馏。PFI 试图将特征差异与预测差异相关联，使特征仿真直接有助于提升学生精度。在 MS COCO 与 PASCAL VOC 基准上，我们使用不同骨干网络在各种检测器上进行了大量实验以验证方法有效性。具体而言，采用 ResNet50 的 RetinaNet 在 MS COCO 上达到 40.4% mAP，较其基线高出 3.5%，且优于先前的 KD 方法。
引用
@article{arxiv.2112.04840,
title = {Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation},
author = {Gang Li and Xiang Li and Yujie Wang and Shanshan Zhang and Yichao Wu and Ding Liang},
journal= {arXiv preprint arXiv:2112.04840},
year = {2021}
}
备注
Accepted by AAAI 2022