基于多粒度运动特征融合的行为识别
计算机视觉与模式识别
2022-03-08 v1
摘要
视频中的行为识别通常需要对物体的空间信息及其在时间维度上的动态动作信息进行组合分析。具体而言，行为识别甚至可能更依赖于对包含短程和长程运动的时序信息的建模；这与涉及图像、侧重于空间信息理解的计算机视觉任务形成对比。然而，现有方法未能联合且全面地分析视频中相邻帧间的短程运动与大规模的长程时间聚合。本文提出一种基于多粒度运动特征融合（IMG）的新型行为识别方法。特别地，我们通过基于通道注意力的短程运动特征增强模块（CMEM）与级联长程运动特征融合模块（CLIM）的协同作用，实现可靠的运动信息建模。我们在 HMDB51、Something-Something 和 UCF101 等多个动作识别基准上评估了我们的模型。实验结果表明，我们的方法优于以往的 SOTA 方法，证实了其有效性与高效性。
引用
@article{arxiv.2203.03097,
title = {Behavior Recognition Based on the Integration of Multigranular Motion Features},
author = {Lizong Zhang and Yiming Wang and Bei Hui and Xiujian Zhang and Sijuan Liu and Shuxin Feng},
journal= {arXiv preprint arXiv:2203.03097},
year = {2022}
}