D$^3$ETR：面向检测 Transformer 的解码器蒸馏
计算机视觉与模式识别
2022-11-18 v1
摘要
尽管基于 CNN 的检测器中各种知识蒸馏（KD）方法在提升小模型学生网络方面已显现成效，但基于 DETR 的检测器的基线与方案尚待构建。本文关注基于 DETR 的检测器的 transformer 解码器，并探索针对它们的 KD 方法。transformer 解码器的输出顺序随机，导致教师与学生预测之间无直接对应关系，从而给知识蒸馏带来挑战。为此，我们提出 MixMatcher 来对齐基于 DETR 的教师与学生解码器输出，其混合了两种师生匹配策略，即自适应匹配与固定匹配。具体而言，自适应匹配应用二分匹配在各解码器层中自适应匹配教师与学生的输出，而固定匹配利用相同的目标查询固定师生输出间的对应关系，并将教师的固定目标查询作为辅助组输入学生的解码器。基于 MixMatcher，我们构建了面向检测 Transformer 的解码器蒸馏（DETR），将解码器预测与注意力图中的知识从教师蒸馏给学生。DETR 在不同骨干网络的各种基于 DETR 的检测器上均展现出优越性能。例如，以 Conditional DETR-R101-C5 为教师，DETR 在 轮训练设置下将 Conditional DETR-R50-C5 提升了 mAP。
引用
@article{arxiv.2211.09768,
title = {D$^3$ETR: Decoder Distillation for Detection Transformer},
author = {Xiaokang Chen and Jiahui Chen and Yan Liu and Gang Zeng},
journal= {arXiv preprint arXiv:2211.09768},
year = {2022}
}
备注
Work in progress