基于骨架引导学习场景流的三维动作识别
计算机视觉与模式识别
2023-06-26 v1 图像与视频处理
摘要
在现有的三维动作识别模态中，三维流虽然蕴含丰富的人体动作运动信息线索，却很少被研究。推测其原因可能是三维流易受噪声影响而难以处理，从而给深度模型中的学习过程带来挑战。本文展示了利用深度时空模型处理三维流序列的方法，并进一步提出一种由骨架域引导的增量式两级空间注意力机制，用于强化靠近身体关节区域且依据其信息量的运动特征。为此，还引入了一种扩展的深度骨架模型来学习最具判别性的动作运动动态，从而估计每个关节的信息量分数。随后，在两个模型之间采用后期融合策略以学习高层跨模态关联。在 currently 最大且最具挑战性的数据集 NTU RGB+D 上的实验结果表明了所提方法的有效性，取得了最先进的性能。
引用
@article{arxiv.2306.13285,
title = {Learning Scene Flow With Skeleton Guidance For 3D Action Recognition},
author = {Vasileios Magoulianitis and Athanasios Psaltis},
journal= {arXiv preprint arXiv:2306.13285},
year = {2023}
}
备注
18 pages, 3 figures, 3 tables, conference