时序动作检测中可靠提案质量的估计
计算机视觉与模式识别
2022-11-22 v2
摘要
时序动作检测（TAD）旨在定位并识别未修剪视频中的动作。无锚框方法取得了显著进展，其主要是将TAD表述为使用两个独立分支进行分类与定位两项任务。本文揭示了阻碍进一步进展的这两项任务之间的时间错位问题。为此，我们提出一种新方法，同时从时刻与区域视角出发，通过获取可靠的提案质量来对齐这两项任务。对于时刻视角，设计了边界评估模块（BEM），其关注局部表观与运动演变以估计边界质量，并采用多尺度方式处理不同时长的动作。对于区域视角，我们引入区域评估模块（REM），其使用一种新颖高效的采样方法表示提案特征，相较于点特征包含更多上下文信息，以细化类别分数与提案边界。所提出的边界评估模块与区域评估模块（BREM）具有通用性，可轻松与其他无锚框TAD方法集成以获得优越性能。在我们的实验中，BREM与两种不同框架结合，在THUMOS14上分别提升3.6%和1.0%，达到新的最先进水平（63.6%平均mAP）。同时，在ActivityNet-1.3上以BREM的一致提升取得了36.2%平均mAP的具竞争力结果。代码发布于https://github.com/Junshan233/BREM。
引用
@article{arxiv.2204.11695,
title = {Estimation of Reliable Proposal Quality for Temporal Action Detection},
author = {Junshan Hu and Chaoxu guo and Liansheng Zhuang and Biao Wang and Tiezheng Ge and Yuning Jiang and Houqiang Li},
journal= {arXiv preprint arXiv:2204.11695},
year = {2022}
}
备注
Accepted to ACM Multimedia 2022