用于视频中人体动作检测的时间与频率网络
计算机视觉与模式识别
2021-03-09 v1
摘要
当前，大多数深度学习的人体动作检测视频方法采用时空特征，却忽视了频域中的重要特征。本工作中，我们提出一种同时考虑时间与频率特征的端到端网络，称为TFNet。TFNet具有两个分支：一为时间分支，由三维卷积神经网络（3D-CNN）构成，以图像序列为输入提取时间特征；另一为频率分支，通过二维卷积神经网络（2D-CNN）从DCT系数中提取频率特征。最后，在注意力机制下深度融合这两类特征以获得动作模式。在JHMDB51-21与UCF101-24数据集上的实验结果表明，我们的方法在frame-mAP上取得了优异性能。
引用
@article{arxiv.2103.04680,
title = {Time and Frequency Network for Human Action Detection in Videos},
author = {Changhai Li and Huawei Chen and Jingqing Lu and Yang Huang and Yingying Liu},
journal= {arXiv preprint arXiv:2103.04680},
year = {2021}
}
备注
8 pages, 6 figures