预测编码网络遇见动作识别
计算机视觉与模式识别
2019-10-23 v1
摘要
动作识别是计算机视觉中的一个关键问题，其将视频用一组预定义动作进行标注。沿视频帧捕获语义内容与运动对于在该任务上取得高精度性能至关重要。大多数最先进的方法依赖RGB帧提取语义，并将预计算的光流场作为运动线索，随后使用深度神经网络将二者结合。然而，有论点认为此类模型无法利用从光流提取的运动信息，相反光流有助于更好地识别视频中的人与物体。这迫切要求探索能以更具信息量的方式提取运动的不同线索或模型。为应对此问题，我们提议探索预测编码网络，即所谓的PredNet，一种跨层与时间步传播预测编码误差的循环神经网络。我们分析PredNet是否可通过随时间估计从预训练动作识别网络提取的表示来更好地捕获视频中的运动。如此，模型仅依赖视频帧，而无需将预处理的光流作为输入。我们在UCF101与HMDB51数据集上报告了所提模型的有效性。
引用
@article{arxiv.1910.10056,
title = {Predictive Coding Networks Meet Action Recognition},
author = {Xia Huang and Hossein Mousavi and Gemma Roig},
journal= {arXiv preprint arXiv:1910.10056},
year = {2019}
}
备注
6 pages