基于生成对抗网络的早期动作预测
计算机视觉与模式识别
2019-05-01 v1
摘要
动作预测旨在尽早确定视频中正在发生的动作，这对许多在线应用至关重要，例如预测交通事故在发生前以及检测监控系统里的恶意行为。本工作中，我们通过开发一种端到端架构来解决该问题，该架构通过将部分观测视频的特征同化至完整视频的特征，提升部分观测视频特征的可分性。为此，引入生成对抗网络(GAN)处理动作预测问题，其通过缩小部分观测视频与完整视频的特征差异，提升部分观测视频的识别准确率。具体地，其生成器由两网络组成：用于特征提取的CNN和用于估计部分观测与完整视频特征间残差的LSTM，然后CNN的特征加上LSTM的残差，作为增强特征以欺骗竞争判别器。同时，生成器以额外感知目标训练，迫使部分观测视频的增强特征对动作预测足够可分辨。在UCF101、BIT和UT-Interaction数据集上的大量实验结果表明，我们的方法优于最先进方法，尤其对观测帧占比少于50%的视频。
引用
@article{arxiv.1904.13085,
title = {Early Action Prediction with Generative Adversarial Networks},
author = {Dong Wang and Yuan Yuan and Qi Wang},
journal= {arXiv preprint arXiv:1904.13085},
year = {2019}
}
备注
IEEE Access