基于Transformer的目标检测与分割中动态查询组合的学习
计算机视觉与模式识别
2023-07-31 v2
摘要
基于Transformer的检测与分割方法使用一组学习到的检测查询(detection queries)从Transformer网络中检索信息,并学习从每个查询预测一个特定物体的位置与类别。我们通过实验发现,所学查询的随机凸组合对上述相应模型依然有效。进而,我们提出基于图像高层语义学习具有动态系数的凸组合。所生成的动态查询称为调制查询(modulated queries),能更好地捕捉不同图像中物体位置与类别的先验。借助我们的调制查询,一系列基于DETR的模型在包括目标检测、实例分割、全景分割和视频实例分割在内的多项任务上取得了稳定且更优的性能。
引用
@article{arxiv.2307.12239,
title = {Learning Dynamic Query Combinations for Transformer-based Object Detection and Segmentation},
author = {Yiming Cui and Linjie Yang and Haichao Yu},
journal= {arXiv preprint arXiv:2307.12239},
year = {2023}
}
备注
12 pages, 4 figures, ICML 2023, code is available at https://github.com/bytedance/DQ-Det