中文

我完成了吗?预测视频中的动作进度

计算机视觉与模式识别 2020-03-11 v4

摘要

本文研究视频中动作进度预测问题。我们认为这是一项极为重要的任务,因为它对于广泛的交互应用具有价值。为此,我们提出一种名为ProgressNet的新方法,能够预测视频中动作发生的时间、其在帧内的位置以及执行过程中的进度。为给出动作进度的通用定义,我们以语言学文献为基础,借用术语和概念来理解哪些动作可作为进度估计的对象。据此,我们定义了动作及其阶段的分类。受卷积神经网络与循环神经网络结合近期成功的启发,我们的模型基于Faster R-CNN框架(用于逐帧预测)与LSTM网络(用于随时间估计动作进度)的组合。在引入针对该任务的两个评估协议后,我们在UCF-101和J-HMDB数据集上展示了我们的模型有效预测动作进度的能力。

关键词

引用

@article{arxiv.1705.01781,
  title  = {Am I Done? Predicting Action Progress in Videos},
  author = {Federico Becattini and Tiberio Uricchio and Lorenzo Seidenari and Lamberto Ballan and Alberto Del Bimbo},
  journal= {arXiv preprint arXiv:1705.01781},
  year   = {2020}
}