BasicTAD:令人惊叹的仅RGB时序动作检测基线
计算机视觉与模式识别
2023-04-12 v3
摘要
时序动作检测(TAD)在视频理解领域被广泛研究,通常沿用图像中的目标检测流程。然而,TAD中复杂设计屡见不鲜,如双流特征提取、多阶段训练、复杂时序建模与全局上下文融合。本文不旨在为TAD引入任何新技术,而是针对当前TAD复杂设计与低检测效率的现状,研究一个简单、直接但必须知晓的基线。在我们的简单基线(称为BasicTAD)中,我们将TAD流程分解为若干核心组件:数据采样、骨干设计、颈部构建与检测头。我们广泛探究了各组件中已有技术,更重要的是,得益于设计的简洁,对整体流程进行端到端训练。结果,这一简单的BasicTAD产出了令人惊叹的实时仅RGB基线,性能非常接近采用双流输入的SOTA方法。此外,我们通过在网络表征中保留更多时空信息进一步改进BasicTAD(称为PlusTAD)。实证结果表明,我们的PlusTAD非常高效,并在THUMOS14与FineAction数据集上显著超越先前方法。同时,我们还对提出的方法进行了深入可视化与误差分析,试图为TAD问题提供更多洞见。我们的方法可作为未来TAD研究的强基线。代码与模型将发布于https://github.com/MCG-NJU/BasicTAD。
引用
@article{arxiv.2205.02717,
title = {BasicTAD: an Astounding RGB-Only Baseline for Temporal Action Detection},
author = {Min Yang and Guo Chen and Yin-Dong Zheng and Tong Lu and Limin Wang},
journal= {arXiv preprint arXiv:2205.02717},
year = {2023}
}
备注
Accepted by CVIU