StageInteractor:具有跨阶段交互的基于查询的目标检测器
计算机视觉与模式识别
2024-01-17 v2
摘要
以往的目标检测器基于密集网格点或大量预设锚框进行预测,大多采用一对多标签分配策略进行训练。相反,近期基于查询的目标检测器依赖于稀疏可学习查询集合与一系列解码器层,并在每层独立应用一对一标签分配以实现训练中的深度监督。尽管基于查询的目标检测取得了巨大成功,但这种一对一标签分配策略要求检测器具备强大的细粒度判别与建模能力。为解决上述问题,本文提出一种具有跨阶段交互的新型基于查询的目标检测器,称为 StageInteractor。在前向传播中,我们提出一种通过轻量适配器复用动态算子来提升建模能力的有效方法。在标签分配方面,跨阶段标签分配器在一对一标签分配之后应用;通过该分配器,训练目标类标签跨阶段收集,然后重新分配给各解码器层的合适预测。在 MS COCO 基准上,我们的模型以 ResNet-50 为骨干、100 个查询和 12 个训练周期将基线提升 2.2 AP,达到 44.8 AP。通过更长训练时间和 300 个查询,StageInteractor 分别使用 ResNeXt-101-DCN 和 Swin-S 达到 51.1 AP 和 52.2 AP。
引用
@article{arxiv.2304.04978,
title = {StageInteractor: Query-based Object Detector with Cross-stage Interaction},
author = {Yao Teng and Haisong Liu and Sheng Guo and Limin Wang},
journal= {arXiv preprint arXiv:2304.04978},
year = {2024}
}