基于残差帧与高效伪3D CNN的人体动作识别
计算机视觉与模式识别
2020-08-04 v1
摘要
人体动作识别被视为监控或视频理解等领域的关键基石。尽管基于视频的动作识别端到端解决方案近期取得进展，达到最先进性能仍需要使用辅助的手工运动表示，例如光流，其通常计算代价高昂。本工作中，我们提出使用残差帧（即相邻RGB帧之差）作为一种替代的“轻量级”运动表示，其携带显著运动信息且计算高效。此外，我们开发了一种新的伪3D卷积模块，将3D卷积解耦为2D和1D卷积。所提模块利用特征空间中的残差信息以更好地结构化运动，并配备自注意力机制以协助重标定外观与运动特征。实证结果证实了残差帧以及所提伪3D卷积模块的效率和有效性。
引用
@article{arxiv.2008.01057,
title = {Residual Frames with Efficient Pseudo-3D CNN for Human Action Recognition},
author = {Jiawei Chen and Jenson Hsiao and Chiu Man Ho},
journal= {arXiv preprint arXiv:2008.01057},
year = {2020}
}