基于 LSTM 和 CNN 的骨架动作识别
计算机视觉与模式识别
2017-07-11 v1
摘要
近年来基于 3D 骨架数据的方法因其简洁性、鲁棒性和视角无关表示而取得了卓越性能。随着深度学习的发展，基于卷积神经网络 (CNN) 和长短期记忆网络 (LSTM) 的学习方法在动作识别方面取得了令人瞩目的成绩。然而，对于基于 CNN 的方法，当序列被编码为图像时，不可避免地会丢失时间信息。为了尽可能捕捉时空信息，本文采用 LSTM 和 CNN 进行有效识别，并在后期进行分数融合。此外，实验结果表明，对于相同特征，CNN 与 LSTM 之间的分数融合优于 LSTM 与 LSTM 之间的融合。我们的方法在 NTU RGB+D 数据集的 3D 人体动作分析上取得了最先进 (SOTA) 的结果。所提方法的准确率达到 87.40%，并在深度视频大规模 3D 人体活动分析挑战赛中排名第一。
引用
@article{arxiv.1707.02356,
title = {Skeleton-based Action Recognition Using LSTM and CNN},
author = {Chuankun Li and Pichao Wang and Shuang Wang and Yonghong Hou and Wanqing Li},
journal= {arXiv preprint arXiv:1707.02356},
year = {2017}
}