大运动下的时空动作检测
计算机视觉与模式识别
2022-10-26 v2
摘要
当前时空动作管检测方法通常将给定关键帧处的边界框提议扩展为 3D 时间长方体，并从邻近帧池化特征。然而，若执行者的位置或形状在帧间表现出较大的 2D 运动与变化（由于较大的相机运动、执行者大幅形变、快速动作等），此类池化无法累积有意义的时空特征。本工作中，我们旨在研究长方体感知特征聚合在大动作下动作检测中的性能。进一步，我们提出通过跟踪执行者并沿各自轨迹进行时间特征聚合，以增强大运动下执行者的特征表示。我们以不同固定时间尺度上动作管/轨迹的边界框之间的交并比（IoU）来定义执行者运动。具有大运动的动作会随时间产生较低的 IoU，而较慢的动作则维持较高的 IoU。我们发现，与长方体感知基线相比，轨迹感知特征聚合在动作检测性能上持续取得大幅提升，尤其对于大运动下的动作。据此，我们还在大规模 MultiSports 数据集上报告了 SOTA 结果。代码见 https://github.com/gurkirt/ActionTrackDetectron。
引用
@article{arxiv.2209.02250,
title = {Spatio-Temporal Action Detection Under Large Motion},
author = {Gurkirt Singh and Vasileios Choutas and Suman Saha and Fisher Yu and Luc Van Gool},
journal= {arXiv preprint arXiv:2209.02250},
year = {2022}
}
备注
10 pages, 5 figures, 5 tables