RGB 流足以进行时序动作检测
计算机视觉与模式识别
2021-07-12 v1 人工智能
摘要
迄今为止，最先进的时序动作检测器基于包括 RGB 帧和光流的双流输入。尽管结合 RGB 帧与光流显著提升了性能，但光流是一种手工设计的表示，不仅计算量大，而且在方法上不尽如人意：双流方法通常无法与光流端到端联合学习。本文中，我们主张在高精度时序动作检测中光流是可省去的，而图像级数据增强（ILDA）是在去除光流时避免性能下降的关键解决方案。为评估 ILDA 的有效性，我们设计了一个基于单一 RGB 流的简单而高效的一阶段时序动作检测器，名为 DaoTAD。我们的结果表明，当使用 ILDA 训练时，DaoTAD 具有与所有现有最先进双流检测器相当的准确性，同时推理速度大幅超越以往方法，在 GeForce GTX 1080 Ti 上推理速度惊人地达到 6668 fps。代码见 \url{https://github.com/Media-Smart/vedatad}。
引用
@article{arxiv.2107.04362,
title = {RGB Stream Is Enough for Temporal Action Detection},
author = {Chenhao Wang and Hongxiang Cai and Yuxin Zou and Yichao Xiong},
journal= {arXiv preprint arXiv:2107.04362},
year = {2021}
}