用于多标签时序动作检测的 Dual DETR
计算机视觉与模式识别
2024-04-02 v1
摘要
时序动作检测 (TAD) 旨在识别未剪辑视频中的动作边界及其相应类别。受 DETR 在目标检测中成功的启发，几种方法已将基于查询的框架适配到 TAD 任务中。然而，这些方法主要遵循 DETR 在实例级别预测动作（即通过中心点识别每个动作），导致边界定位效果欠佳。为解决此问题，我们提出了一种新的双层级基于查询的 TAD 框架，即 DualDETR，以从实例级和边界级检测动作。在不同层级解码需要不同粒度的语义，因此我们引入了一种双分支解码结构。该结构为不同层级构建独特的解码过程，促进在每个层级显式捕获时序线索和语义。在双分支设计的基础上，我们提出了一种联合查询初始化策略，以对齐来自两个层级的查询。具体而言，我们利用编码器提案以一对一的方式匹配每个层级的查询。然后，使用来自匹配动作提案的位置和内容先验初始化匹配的查询。对齐的双层级查询可以在后续解码过程中利用互补线索细化匹配的提案。我们在三个具有挑战性的多标签 TAD 基准上评估了 DualDETR。实验结果表明 DualDETR 优于现有的 SOTA 方法，在 det-mAP 上取得了大幅提升，并在 seg-mAP 上取得了令人瞩目的结果。
引用
@article{arxiv.2404.00653,
title = {Dual DETRs for Multi-Label Temporal Action Detection},
author = {Yuhan Zhu and Guozhen Zhang and Jing Tan and Gangshan Wu and Limin Wang},
journal= {arXiv preprint arXiv:2404.00653},
year = {2024}
}
备注
Accepted by CVPR 2024