中文

RED:用于动作预测的强化编码器-解码器网络

计算机视觉与模式识别 2017-07-18 v1

摘要

动作预测旨在在动作发生前对其进行检测。机器人与监控等领域的许多实际应用都与这种预测能力相关。现有方法通过首先预测未来帧的视觉表示,然后将预测的表示分类为动作来解决此问题。然而,预测基于单个过去帧的表示,忽略了历史趋势。此外,其只能预测固定的未来时间。我们提出一种用于动作预测的强化编码器-解码器(RED)网络。RED 以多个历史表示作为输入,并学习预测一系列未来表示。RED 的一个显著特点是采用了强化模块来提供序列级监督;奖励函数旨在鼓励系统尽早做出正确预测。我们在 TVSeries、THUMOS-14 和 TV-Human-Interaction 数据集上测试 RED 进行动作预测,并在所有数据集上取得了最先进的性能。

关键词

引用

@article{arxiv.1707.04818,
  title  = {RED: Reinforced Encoder-Decoder Networks for Action Anticipation},
  author = {Jiyang Gao and Zhenheng Yang and Ram Nevatia},
  journal= {arXiv preprint arXiv:1707.04818},
  year   = {2017}
}