动作管道预测

在这项工作中，我们提出了一种方法，仅通过观察修剪后视频的一个较小子集，就能预测其中整个“动作管道”（一组时间上关联的边界框）。预测动作在不久的将来发生于何处，对于许多基于计算机视觉的应用（如自动驾驶或手术机器人）至关重要。重要的是，这必须以实时且在线的方式完成。我们提出了一种管道预测网络（TPnet），它联合预测过去、当前和未来的边界框及其动作分类分数。在测试时，TPnet 用于（时间）滑动窗口设置，其预测被放入一个管道估计框架中，以构建/预测视频的长动作管道，不仅针对视频已观测部分，也针对未观测部分。此外，所提出的动作管道预测器有助于补全视频未观测段的动作管道。我们在标准动作检测基准之一——J-HMDB-21 数据集上定量展示了后一种能力，以及 TPnet 提升最先进检测性能的事实。