目标检测知识蒸馏的架构洞察：综合综述
计算机视觉与模式识别
2025-08-06 v1
摘要
目标检测通过深度学习取得了显著的精度提升，但这些改进往往伴随更高的计算成本，限制了在资源受限设备上的部署。知识蒸馏（Knowledge Distillation, KD）通过让紧凑的学生模型从更大的教师模型中学习，提供了有效解决方案。然而，由于目标检测具有双重目标——分类与定位——以及前景-背景不平衡和多尺度特征表示的独特挑战，将 KD 应用于目标检测存在困难。本综述介绍一种新颖的以架构为中心的分类法，区分 CNN-based 检测器（覆盖骨干网络层、颈部层、头部层及 RPN/RoI 层级蒸馏）和 Transformer-based 检测器（包括查询级、特征级和逻辑级蒸馏）。我们使用 MS COCO 和 PASCAL VOC 数据集，以 [email protected] 为性能指标，对代表性方法进行评估，提供了效果比较分析。该提出的分类法和分析旨在阐明目标检测中 KD 的演进格局，突出当前挑战，并为高效可扩展的检测系统指导未来研究。
引用
@article{arxiv.2508.03317,
title = {Architectural Insights into Knowledge Distillation for Object Detection: A Comprehensive Review},
author = {Mahdi Golizadeh and Nassibeh Golizadeh and Mohammad Ali Keyvanrad and Hossein Shirazi},
journal= {arXiv preprint arXiv:2508.03317},
year = {2025}
}
备注
20 pages, 11 figures, This paper was submitted to IEEE Transactions on Neural Networks and Learning Systems