IDa-Det：面向 1-bit 检测器的信息差异感知蒸馏方法
计算机视觉与模式识别
2022-10-10 v1
摘要
知识蒸馏（KD）已被证明对训练紧凑的目标检测模型有用。然而，我们观察到当教师模型与学生模型共享相似的候选框信息时，KD 通常是有效的。这解释了为何现有 KD 方法对 1-bit 检测器效果较差，其原因在于实值教师与 1-bit 学生之间存在显著的信息差异。本文提出一种信息差异感知策略（IDa-Det）来蒸馏 1-bit 检测器，该策略能有效消除信息差异并显著缩小 1-bit 检测器与其实值对应模型之间的性能差距。我们将蒸馏过程表述为双层优化形式。在内层，我们选取具有最大信息差异的代表性候选框。然后，我们引入一种新颖的熵蒸馏损失，基于所选候选框来减少差异。大量实验证明了 IDa-Det 在 PASCAL VOC 和 COCO 数据集上优于最先进的 1-bit 检测器和 KD 方法。IDa-Det 在配备 ResNet-18 骨干网络的 1-bit Faster-RCNN 上取得了 76.9% 的 mAP。我们的代码已在 https://github.com/SteveTsui/IDa-Det 开源。
引用
@article{arxiv.2210.03477,
title = {IDa-Det: An Information Discrepancy-aware Distillation for 1-bit Detectors},
author = {Sheng Xu and Yanjing Li and Bohan Zeng and Teli ma and Baochang Zhang and Xianbin Cao and Peng Gao and Jinhu Lv},
journal= {arXiv preprint arXiv:2210.03477},
year = {2022}
}