HEAD：面向异构目标检测器的异构辅助蒸馏
计算机视觉与模式识别
2022-07-13 v1
摘要
传统的目标检测知识蒸馏（KD）方法主要关注同构师生检测器。然而，为部署而设计的轻量检测器通常与高容量检测器的设计存在显著差异。因此，我们研究了面向广泛应用、在异构师生对之间的KD。我们观察到异构KD（hetero-KD）的核心难点在于：由于优化方式不同，异构检测器骨干网络特征间存在显著的语义鸿沟。传统的同构KD（homo-KD）方法受此鸿沟影响，难以直接为hetero-KD取得满意性能。本文提出HEtero-Assists Distillation（HEAD）框架，利用异构检测头作为辅助来引导学生检测器的优化以缩小该鸿沟。在HEAD中，辅助头是一个附加的检测头，其架构与学生骨干相连且与教师头同构。由此，异构KD被转化为同构KD，从而实现从教师到学生的高效知识迁移。此外，当训练良好的教师检测器不可用时，我们将HEAD扩展为无教师HEAD（TF-HEAD）框架。相较当前检测KD方法，我们的方法取得了显著提升。例如，在MS-COCO数据集上，TF-HEAD使R18 RetinaNet达到33.9 mAP（+2.2），而HEAD进一步将上限推至36.2 mAP（+4.5）。
引用
@article{arxiv.2207.05345,
title = {HEAD: HEtero-Assists Distillation for Heterogeneous Object Detectors},
author = {Luting Wang and Xiaojie Li and Yue Liao and Zeren Jiang and Jianlong Wu and Fei Wang and Chen Qian and Si Liu},
journal= {arXiv preprint arXiv:2207.05345},
year = {2022}
}
备注
ECCV 2022, Code: https://github.com/LutingWang/HEAD