基于全局时间表示的 CNN 红外动作识别
计算机视觉与模式识别
2019-09-19 v1
摘要
红外人体动作识别具有诸多优势，例如对光照变化、外观差异和阴影不敏感。现有的红外动作识别方法要么基于空间信息，要么基于局部时间信息，然而能更好描述整个视频中身体部位运动的全局时间信息未被考虑。在本文中，我们提出一种名为光流堆叠差分图像（OFSDI）的新颖全局时间表示，并通过联合考虑局部、全局和时空信息，从红外动作数据中提取鲁棒且具判别性的特征。由于红外动作数据集规模较小，我们首先分别在局部、空间和全局时间流上应用卷积神经网络，以从原始数据中获得高效的卷积特征图，而非直接训练分类器。随后，这些卷积特征图通过轨迹约束池化聚合成名为三流轨迹池化深度卷积描述子的有效描述子。此外，我们使用局部约束线性编码（LLC）方法提升了这些特征的鲁棒性。利用这些特征，我们的方案采用线性支持向量机（SVM）对动作数据进行分类。我们在红外动作识别数据集 InfAR 和 NTU RGB+D 上进行了实验。实验结果表明，所提方法优于具有代表性的基于手工特征和深度学习特征的顶尖红外动作识别方法。
引用
@article{arxiv.1909.08287,
title = {Global Temporal Representation based CNNs for Infrared Action Recognition},
author = {Yang Liu and Zhaoyang Lu and Jing Li and Tao Yang and Chao Yao},
journal= {arXiv preprint arXiv:1909.08287},
year = {2019}
}
备注
Published in IEEE Signal Processing Letters, codes can be found at https://yangliu9208.github.io/TSTDDs/