通过改进内容查询和相似查询聚合来增强 DETRs 变体

查询的设计对于 DETR 及其变体的性能至关重要。每个查询由两个组成部分组成：内容部分和位置部分。传统上，内容查询使用零或可学习嵌入初始化，缺乏必要的内容信息，导致性能次优。本文引入了一种新型可插即用模块，自适应内容查询（Self-Adaptive Content Query, SACQ），以解决这一限制。SACQ 模块利用变换器编码器的特征通过自注意力池化生成内容查询。这使得候选查询能够适应输入图像，从而获得更全面的内容先验并更好地聚焦目标对象。然而，这种改进的集中程度会导致利用匈牙利匹配进行训练过程面临挑战，该过程仅选择单个候选者并抑制其他相似者。为克服这一问题，我们提出了与 SACQ 协作的查询聚合策略。它合并来自不同查询的相似预测候选者，缓解了优化问题。我们在 COCO 数据集上进行了广泛实验，证明了我们提出的方法在六种不同的 DETR 变体中具有有效性，多个配置下平均提高了超过 1.0 的 AP。