ActionFlowNet：面向动作识别的运动表示学习
计算机视觉与模式识别
2018-02-20 v3
摘要
尽管卷积神经网络 (CNN) 在各种视觉识别任务中近期取得进展，最先进的动作识别系统仍依赖如光流等手工制作的运动特征以达到最佳性能。我们提出多任务学习模型 ActionFlowNet，直接从原始像素训练单流网络，以在利用卷积神经网络识别动作的同时联合估计光流，在单一模型中捕获外观与运动。我们进一步深入分析了所学光流的质量如何影响动作识别。与未经外部大规模数据和额外光流输入训练的最先进基于 CNN 的动作识别模型相比，我们的模型将动作识别准确率大幅提升了 31%。无需在大型外部标注数据集上预训练，我们的模型通过充分利用运动信息，取得了与使用 ImageNet 和 Sport-1M 等大型标注数据集训练的模型相竞争的识别准确率。
引用
@article{arxiv.1612.03052,
title = {ActionFlowNet: Learning Motion Representation for Action Recognition},
author = {Joe Yue-Hei Ng and Jonghyun Choi and Jan Neumann and Larry S. Davis},
journal= {arXiv preprint arXiv:1612.03052},
year = {2018}
}
备注
WACV 2018