Siamese-DETR: 面向通用多目标跟踪的孪生DETR
计算机视觉与模式识别
2025-01-08 v3
摘要
在不同场景中检测并跟踪动态物体的能力是自动驾驶与机器人导航等现实应用的基础。然而,传统多目标跟踪(MOT)仅限于跟踪属于预定义闭集类别的物体。近来,开放词汇MOT(OVMOT)与通用MOT(GMOT)被提出,以给定文本提示与模板图像跟踪预定义类别之外的感兴趣物体。但训练OVMOT模型需要昂贵的预训练(视觉-)语言模型与细粒度类别标注。本文关注GMOT,并提出一种简单而有效的GMOT方法Siamese-DETR。训练仅需常用检测数据集(如COCO)。现有GMOT方法训练基于单目标跟踪(SOT)的检测器来检测感兴趣物体,再应用基于数据关联的MOT跟踪器获取轨迹;与之不同,我们利用DETR变体中固有的物体查询。具体而言:1)基于给定模板图像设计多尺度物体查询,可有效检测与模板图像同类的不同尺度物体;2)引入动态匹配训练策略,在常用检测数据集上训练Siamese-DETR,充分利用已有标注;3)通过以查询方式跟踪,将前一帧跟踪框作为附加查询框,简化在线跟踪流程。复杂的数据关联被更简单的非极大值抑制(NMS)取代。大量实验结果表明,Siamese-DETR在GMOT-40数据集上大幅超越现有MOT方法。代码见\url{https://github.com/yumu-173/Siamese-DETR}。
引用
@article{arxiv.2310.17875,
title = {Siamese-DETR for Generic Multi-Object Tracking},
author = {Qiankun Liu and Yichen Li and Yuqi Jiang and Ying Fu},
journal= {arXiv preprint arXiv:2310.17875},
year = {2025}
}