基于查询选择的检测 Transformer 知识蒸馏
计算机视觉与模式识别
2024-09-11 v1
摘要
Transformer 通过引入 DETR（Detection Transformer）在目标检测领域实现了革命性发展，因其简单性和有效性而备受推崇。尽管具有这些优势，但这些模型的巨大尺寸在资源受限的环境中构成了重大部署挑战。这篇论文通过利用知识蒸馏技术来压缩 DETR，旨在保持模型性能的同时减小规模。DETR 性能的关键在于其依赖查询来准确解释对象表示。传统蒸馏方法通常仅关注通过二分匹配识别的正查询，忽略了来自硬负查询中所蕴含的丰富信息。我们的视觉分析表明，聚焦于前景元素的硬负查询对于提高蒸馏效果至关重要。为此，我们引入一种新的分组查询选择策略，不同于 DETR 蒸馏中传统的查询选择方式，将查询根据其与地面实况对象的广义交并比（GIoU）进行分组，从而揭示有价值的硬负查询用于蒸馏。此外，我们提出了基于查询选择的 DETR 知识蒸馏框架（QSKD），它包含注意力引导特征蒸馏（AGFD）和局部对齐预测蒸馏（LAPD）。这些组件通过关注教师模型中间特征和输出的最有信息的方面来优化蒸馏过程。我们的全面实验评估在 MS-COCO 数据集上证明了该方法的有效性，在各种 DETR 架构中显著提升平均精度（AP），且不会增加显著的计算成本。具体而言，Conditional DETR ResNet-18 的 AP 从 35.8 提升至 39.9。
引用
@article{arxiv.2409.06443,
title = {Knowledge Distillation via Query Selection for Detection Transformer},
author = {Yi Liu and Luting Wang and Zongheng Tang and Yue Liao and Yifan Sun and Lijun Zhang and Si Liu},
journal= {arXiv preprint arXiv:2409.06443},
year = {2024}
}