用于无约束视频中在线时空动作定位的进度回归循环神经网络
计算机视觉与模式识别
2019-03-04 v1
摘要
以往的时空动作定位方法通常遵循目标检测流程来估计动作的检测框与标签。然而，动作的时间关系尚未被充分探索。本文提出一种端到端的进度回归循环神经网络（PR-RNN）用于在线时空动作定位，其通过学习时间进度回归来推断动作。我们引入了两个新的动作属性，称为进度（progression）与进度率（progress rate），用以描述动作的时间参与度和相对时间位置。在我们的方法中，帧级特征首先由全卷积网络（FCN）提取。随后，检测结果与动作进度属性由基于所有已观测帧而非单帧或短片段的卷积门控循环单元（ConvGRU）回归得到。最后，设计了一种新颖的在线关联方法，借助估计的动作进度属性将单帧结果连接为时空管。大量实验表明，进度属性通过提供更精确的动作时间位置提升了无约束视频中的定位精度。我们提出的 PR-RNN 在两个基准数据集上的大多数 IoU 阈值下均取得了最先进的性能。
引用
@article{arxiv.1903.00304,
title = {Progress Regression RNN for Online Spatial-Temporal Action Localization in Unconstrained Videos},
author = {Bo Hu and Jianfei Cai and Tat-Jen Cham and Junsong Yuan},
journal= {arXiv preprint arXiv:1903.00304},
year = {2019}
}
备注
11 pages, 5 figures