移动端视频动作识别
计算机视觉与模式识别
2019-08-28 v1
摘要
视频动作识别是计算机视觉与视频分析中的热点问题，旨在将短视频片段归类到预定义类别（如梳头或爬楼梯）中。近期工作聚焦于利用深度神经网络进行动作识别，其在需要高性能平台上取得了最先进的结果。尽管移动计算快速发展，移动设备上的视频动作识别尚未被充分讨论。本文关注新颖的移动视频动作识别任务，其中仅能使用移动设备的计算能力。我们选择从压缩视频中直接提取多种模态（包括I帧、运动矢量和残差），而非存储巨大的原始视频。采用MobileNetV2作为骨干网络，我们提出一种新颖的时间三线性池化（TTP）模块来融合多模态以进行移动视频动作识别。除运动矢量外，我们还提供一种时间融合方法以显式引入时间上下文。在移动设备上的效率测试表明，我们的模型能以约40FPS执行移动视频动作识别。在两个基准上的对比结果显示，我们的模型在模型大小与耗时上优于现有动作识别方法，且具备有竞争力的准确率。
引用
@article{arxiv.1908.10155,
title = {Mobile Video Action Recognition},
author = {Yuqi Huo and Xiaoli Xu and Yao Lu and Yulei Niu and Zhiwu Lu and Ji-Rong Wen},
journal= {arXiv preprint arXiv:1908.10155},
year = {2019}
}