面向稠密目标检测的预测引导蒸馏
计算机视觉与模式识别
2022-07-19 v2 机器学习
摘要
现实世界的目标检测模型应当廉价且准确。知识蒸馏（KD）可通过利用较大教师模型的有用信息来提升小型廉价检测模型的准确率。然而，一个关键挑战是识别教师模型产生的最具信息量的特征用于蒸馏。本文中，我们表明真实边界框内仅极小部分特征负责教师模型的高检测性能。基于此，我们提出预测引导蒸馏（PGD），将蒸馏聚焦于教师模型的这些关键预测区域，相较许多现有 KD 基线取得可观性能提升。此外，我们提出一种针对关键区域的自适应加权方案，以平滑其影响并取得更佳性能。我们提出的方法在多种先进单阶段检测架构上优于当前最先进 KD 基线。具体而言，在 COCO 数据集上，以 ResNet-101 和 ResNet-50 分别作为教师与学生骨干时，我们的方法实现 +3.1% 至 +4.6% 的 AP 提升。在 CrowdHuman 数据集上，同样使用这些骨干，我们在 MR 和 AP 上分别取得 +3.2% 和 +2.0% 的提升。我们的代码见 https://github.com/ChenhongyiYang/PGD。
引用
@article{arxiv.2203.05469,
title = {Prediction-Guided Distillation for Dense Object Detection},
author = {Chenhongyi Yang and Mateusz Ochal and Amos Storkey and Elliot J. Crowley},
journal= {arXiv preprint arXiv:2203.05469},
year = {2022}
}
备注
ECCV 2022