利用特征丰富度蒸馏目标检测器
计算机视觉与模式识别
2021-12-20 v4
摘要
近年来，大规模深度模型取得了巨大成功，但巨大的计算复杂度和存储需求使其在资源受限设备上部署面临重大挑战。作为一种模型压缩与加速方法，知识蒸馏通过从教师检测器中迁移暗知识有效提升了小模型的性能。然而，现有大多数基于蒸馏的检测方法主要模仿边界框附近的特征，存在两点局限。其一，它们忽略了边界框外有益的特征；其二，这些方法模仿了一些被教师检测器误判为背景的特征。为解决上述问题，我们提出一种新颖的特征丰富度得分（FRS）方法，以在蒸馏过程中选取可提升通用可检测性的重要特征。所提方法有效检索了边界框外的重要特征，并去除了边界框内的有害特征。大量实验表明，我们的方法在基于锚点与无锚点检测器上均取得了优异性能。例如，采用 ResNet-50 的 RetinaNet 在 COCO2017 数据集上 mAP 达到 39.7%，甚至以 0.8% 超越基于 ResNet-101 的教师检测器 38.9%。我们的实现见 https://github.com/duzhixing/FRS。
引用
@article{arxiv.2111.00674,
title = {Distilling Object Detectors with Feature Richness},
author = {Zhixing Du and Rui Zhang and Ming Chang and Xishan Zhang and Shaoli Liu and Tianshi Chen and Yunji Chen},
journal= {arXiv preprint arXiv:2111.00674},
year = {2021}
}
备注
Accepted in NeurIPS 2021