面向密集目标检测的定位置信蒸馏
计算机视觉与模式识别
2022-04-01 v4
摘要
知识蒸馏（KD）在目标检测中紧凑模型的学习上展现出了强大的能力。以往用于目标检测的知识蒸馏方法大多侧重于在模仿区域内模仿深层特征，而非模仿分类 logit，因其蒸馏定位信息效率低下且提升甚微。本文通过重构定位上的知识蒸馏过程，提出了一种新颖的定位置信蒸馏（LD）方法，能够高效地将定位知识从教师模型传递至学生模型。此外，我们还启发式地引入了有价值定位区域的概念，可辅助对特定区域的语义与定位知识进行选择性蒸馏。结合这两个新组件，我们首次表明 logit 模仿可以优于特征模仿，且对于蒸馏目标检测器而言，定位知识蒸馏比语义知识更重要、更高效。我们的蒸馏方案简洁有效，可轻松应用于不同的密集目标检测器。实验表明，在 COCO 基准上，我们的 LD 以单尺度 1x 训练计划将 GFocal-ResNet-50 的 AP 分数从 40.1 提升至 42.1，且不牺牲任何推理速度。我们的源代码与训练模型已公开于 https://github.com/HikariTJU/LD
引用
@article{arxiv.2102.12252,
title = {Localization Distillation for Dense Object Detection},
author = {Zhaohui Zheng and Rongguang Ye and Ping Wang and Dongwei Ren and Wangmeng Zuo and Qibin Hou and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2102.12252},
year = {2022}
}
备注
Accepted by CVPR 2022. Camera Ready