面向目标检测的任务平衡蒸馏
计算机视觉与模式识别
2022-08-08 v1
摘要
主流目标检测器通常由分类和回归两个子任务构成，由两条并行头实现。这一经典设计范式不可避免地导致分类分数与定位质量（IOU）之间的空间分布不一致。因此，本文从知识蒸馏的角度缓解这种错位。首先，我们观察到庞大教师模型比轻量学生模型具有更高比例的协调预测。基于这一有趣观察，设计了一种新颖的协调分数（HS）来估计分类与回归质量的对齐程度。HS 建模了两个子任务之间的关系，并被视为先验知识以促进学生的协调预测。其次，这种空间错位会导致在蒸馏特征时区域选择不协调。为缓解该问题，提出了一种新颖的任务解耦特征蒸馏（TFD），通过灵活平衡分类与回归任务的贡献来实现。最终，HS 与 TFD 构成了所提方法，称为任务平衡蒸馏（TBD）。大量实验证明了所提方法的显著潜力与泛化性。具体而言，当配备 TBD 时，基于 ResNet-50 的 RetinaNet 在 COCO 基准下达到 41.0 mAP，优于近期的 FGD 和 FRS。
引用
@article{arxiv.2208.03006,
title = {Task-Balanced Distillation for Object Detection},
author = {Ruining Tang and Zhenyu Liu and Yangguang Li and Yiguo Song and Hui Liu and Qide Wang and Jing Shao and Guifang Duan and Jianrong Tan},
journal= {arXiv preprint arXiv:2208.03006},
year = {2022}
}