基于树状结构与参考关节的骨架图像表示用于三维动作识别
计算机视觉与模式识别
2019-09-13 v1 机器学习
摘要
近年来，计算机视觉研究界研究了如何对视频中的时间动态建模以用于三维人体动作识别。为此，两类主要基线方法已被研究：（i）带有长短期记忆（LSTM）的循环神经网络（RNN）；以及（ii）用作卷积神经网络（CNN）输入的骨架图像表示。尽管 RNN 方法取得了优异结果，此类方法缺乏高效学习骨架关节间空间关系的能力。另一方面，用于馈入 CNN 的表示具有从二维数组自然学习结构信息的优势（即，它们从骨架关节学习空间关系）。为进一步提升此类表示，我们引入树状结构参考关节图像（TSRJI），一种用作 CNN 输入的新型骨架图像表示。所提表示具有结合参考关节与树状结构骨架的优势。前者融入关节间不同的空间关系，后者通过深度优先顺序算法遍历骨架树来保留重要的空间关系。实验结果证明了所提表示在两个数据集上用于三维动作识别的有效性，并在近期的 NTU RGB+D~120 数据集上取得了最先进（SOTA）结果。
引用
@article{arxiv.1909.05704,
title = {Skeleton Image Representation for 3D Action Recognition based on Tree Structure and Reference Joints},
author = {Carlos Caetano and François Brémond and William Robson Schwartz},
journal= {arXiv preprint arXiv:1909.05704},
year = {2019}
}
备注
Conference on Graphics, Patterns and Images (SIBGRAPI2019). arXiv admin note: substantial text overlap with arXiv:1907.13025