KD-DETR:基于一致蒸馏点采样的检测Transformer知识蒸馏
计算机视觉与模式识别
2025-06-26 v3
摘要
DETR是一种新颖的端到端Transformer架构目标检测器,在规模放大时显著优于经典检测器。本文关注于通过知识蒸馏压缩DETR。尽管知识蒸馏在经典检测器中已被充分研究,但如何使其在DETR上有效工作仍缺乏探讨。我们首先通过实验与理论分析指出,DETR蒸馏的主要挑战在于缺乏一致的蒸馏点。蒸馏点指学生网络所模仿的预测的对应输入,其在CNN检测器与DETR中具有不同形式,而可靠的蒸馏需要师生之间充分且一致的蒸馏点。基于该观察,我们提出首个面向DETR的通用知识蒸馏范式(KD-DETR),采用一致蒸馏点采样,适用于同构与异构蒸馏。具体而言,我们通过引入一组专用目标查询来为DETR构建蒸馏点,从而解耦检测与蒸馏任务。我们进一步提出由通用到特定的蒸馏点采样策略,以探索KD-DETR的可扩展性。大量实验验证了KD-DETR的有效性与泛化性。对于单尺度DAB-DETR以及多尺度Deformable DETR和DINO,KD-DETR以学生模型的性能提升予以增强。我们进一步将KD-DETR扩展至异构蒸馏,通过从DINO向采用ResNet-50的Faster R-CNN蒸馏知识取得了的提升,可与同构蒸馏方法相媲美。代码见https://github.com/wennyuhey/KD-DETR。
引用
@article{arxiv.2211.08071,
title = {KD-DETR: Knowledge Distillation for Detection Transformer with Consistent Distillation Points Sampling},
author = {Yu Wang and Xin Li and Shengzhao Weng and Gang Zhang and Haixiao Yue and Haocheng Feng and Junyu Han and Errui Ding},
journal= {arXiv preprint arXiv:2211.08071},
year = {2025}
}
备注
Accepted to CVPR 2024