基于超点序列的实时三维人体动作识别
摘要
实时三维人体动作识别具有广泛的工业应用，如监控、人机交互与医疗健康监测。依靠复杂的时空局部编码，大多数现有的点云序列网络捕捉时空局部结构以识别三维人体动作。为简化点云序列建模任务，我们提出了一种轻量且有效的点云序列网络，称为 SequentialPointNet，用于实时三维动作识别。SequentialPointNet 不捕捉时空局部结构，而是对静态外观的时间演化进行编码以识别人体动作。首先，我们定义了一种新型点数据——超点 (Hyperpoint)，以更好地描述随时间变化的人体外观。提供了理论基础以阐明将点云序列转换为超点序列的信息等价性。其次，将点云序列建模任务分解为超点嵌入任务与超点序列建模任务。具体地，对于超点嵌入，采用静态点云技术将点云序列转换为超点序列，这引入了固有的帧级并行性；对于超点序列建模，设计了 Hyperpoint-Mixer 模块作为基本构建块来学习人体动作的时空特征。在三个广泛使用的三维动作识别数据集上的大量实验表明，所提出的 SequentialPointNet 取得了具竞争力的分类性能，且比现有方法快至多 10 倍。
引用
@article{arxiv.2111.08492,
title = {Real-time 3D human action recognition based on Hyperpoint sequence},
author = {Xing Li and Qian Huang and Zhijian Wang and Zhenjie Hou and Tianjin Yang and Zhuang Miao},
journal= {arXiv preprint arXiv:2111.08492},
year = {2024}
}
备注
The paper has been published in IEEE Transactions on Industrial Informatics. [1]Li X, Huang Q, Wang Z, et al. Real-Time 3D Human Action Recognition Based on Hyperpoint Sequence[J]. IEEE Transactions on Industrial Informatics, 2022. The code of this paper has been made public at https://github.com/XingLi1012/SequentialPointNet.git