基于空间推理与时间栈学习的骨架动作识别
计算机视觉与模式识别
2018-12-04 v2
摘要
基于骨架的动作识别近来取得很大进展，但许多问题仍待解决。例如，以往多数方法对骨架序列的表示建模缺乏丰富的空间结构信息与细致的时间动态特征。本文中，我们提出一种具有空间推理与时间栈学习（SR-TSL）的新模型用于基于骨架的动作识别，其由空间推理网络（SRN）和时间栈学习网络（TSLN）组成。SRN 可通过残差图神经网络捕获每帧内的高层空间结构信息，而 TSLN 可通过多个跳跃片段 LSTM 的组合对骨架序列的细致时间动态建模。训练期间，我们提出基于片段的增量损失来优化模型。我们在 SYSU 3D 人机交互数据集与 NTU RGB+D 数据集上进行了大量实验，并验证了模型中各网络的有效性。对比结果表明我们的方法取得了远优于最先进方法的结果。
引用
@article{arxiv.1805.02335,
title = {Skeleton-Based Action Recognition with Spatial Reasoning and Temporal Stack Learning},
author = {Chenyang Si and Ya Jing and Wei Wang and Liang Wang and Tieniu Tan},
journal= {arXiv preprint arXiv:1805.02335},
year = {2018}
}
备注
ECCV 2018