带有信任门控的时空 LSTM 用于 3D 人体动作识别
计算机视觉与模式识别
2016-07-27 v1 人工智能
机器学习
神经与进化计算
摘要
3D 动作识别——基于 3D 骨架数据的人体动作分析——由于其简洁性、鲁棒性和视角不变表示而近期变得流行。针对该问题的近期尝试建议开发基于 RNN 的学习方法，以建模时间域中的上下文依赖关系。在本文中，我们将此思想扩展至时空域，以同时分析两个域内输入数据中与动作相关信息的隐藏来源。受人体骨架图结构的启发，我们进一步提出了一种更强大的基于树结构的遍历方法。为了处理 3D 骨架数据中的噪声与遮挡，我们在 LSTM 内引入了新的门控机制，以学习时序输入数据的可靠性，并相应地调整其对更新存储在记忆单元中的长期上下文信息的影响。我们的方法在 4 个用于 3D 人体动作分析的具有挑战性的基准数据集上取得了 SOTA 性能。
引用
@article{arxiv.1607.07043,
title = {Spatio-Temporal LSTM with Trust Gates for 3D Human Action Recognition},
author = {Jun Liu and Amir Shahroudy and Dong Xu and Gang Wang},
journal= {arXiv preprint arXiv:1607.07043},
year = {2016}
}