DS-Det：单查询范式与注意力解耦学习用于灵活目标检测
计算机视觉与模式识别
2025-07-29 v1
摘要
流行的变换器检测器通过基于注意力机制的查询式学习实现了令人瞩目的性能。然而，现有解码器查询类型（如内容查询和位置查询）的作用仍未得到充分探索。这些查询通常以固定数量（固定查询）预定义，限制了其灵活性。我们发现，这些固定查询的学习受到两种注意力操作（自注意力：查询间查询；交叉注意力：查询到编码器）之间递归相互作用 (ROT) 的影响，从而降低了解码器效率。此外，在训练期间，当共享权重的解码器层同时处理一对一和一对多标签分配时，便会产生“查询模糊”现象，违反 DETR 的一对一匹配原则。为此，我们提出 DS-Det，一种能够在图像中检测灵活目标数量的更高效检测器。具体而言，我们重新构建并引入新的统一单查询范式用于解码器建模，将固定查询转化为灵活查询。进而，我们提出通过注意力解耦学习的简化解码器框架：利用交叉注意力进行框定位（一对多处理），通过自注意力进行预测去重（一对一处理），直接解决“查询模糊”和“ROT”问题，提升解码器效率。我们进一步引入统一的 PoCoo 损失，利用框大小先验优先学习难样本（如小目标）。在 COCO2017 和 WiderPerson 数据集上，使用五种不同的主干模型进行广泛实验表明，DS-Det 在通用性和优越性方面具有显著优势。项目代码已公开于 https://github.com/Med-Process/DS-Det/。
引用
@article{arxiv.2507.19807,
title = {DS-Det: Single-Query Paradigm and Attention Disentangled Learning for Flexible Object Detection},
author = {Guiping Cao and Xiangyuan Lan and Wenjian Huang and Jianguo Zhang and Dongmei Jiang and Yaowei Wang},
journal= {arXiv preprint arXiv:2507.19807},
year = {2025}
}