多流单次时空动作检测
计算机视觉与模式识别
2019-08-23 v1
摘要
我们提出一种基于三维卷积神经网络（CNNs）的单次检测器，用于时空动作检测任务。我们的模型包括：（1）两个短期外观和运动流，分别以单张 RGB 和光流图像作为输入，以捕获当前帧的空间和时间信息；（2）两个基于长期三维 ConvNet 的流，处理连续的 RGB 和光流图像序列，以捕获过去帧的上下文信息。我们的模型在视频动作检测中实现了强劲性能，并可轻松集成到任何现有的双流动作检测方法中。我们在具有挑战性的 UCF101-24 动作数据集上报告了 71.30% 的帧 mAP，达到了一阶段方法的最新水平。据我们所知，我们的工作是首个在动作检测任务中结合三维 CNN 和 SSD 的系统。
引用
@article{arxiv.1908.08178,
title = {Multi-Stream Single Shot Spatial-Temporal Action Detection},
author = {Pengfei Zhang and Yu Cao and Benyuan Liu},
journal= {arXiv preprint arXiv:1908.08178},
year = {2019}
}