ARN-LSTM：用于基于骨架的动作识别的多流融合模型
计算机视觉与模式识别
2024-12-02 v2
摘要
本文提出了ARN-LSTM架构，一种新颖的多流动作识别模型，旨在解决在动作序列中同时捕捉空间运动和时间动态的挑战。传统方法通常仅关注空间或时间特征，限制了其全面理解复杂人类活动的能力。我们提出的模型通过多流融合架构整合了关节、运动和时间信息。具体而言，它包括一个用于提取骨架特征的关节流、一个用于捕捉动态时间特征的时间流，以及一个ARN-LSTM模块，该模块利用时序分布长短期记忆（TD-LSTM）层后接注意力关系网络（ARN）来建模时间关系。这些流的输出在全连接层中进行融合，以提供最终的动作预测。在NTU RGB+D 60和NTU RGB+D 120数据集上的评估结果优于现有先进方法，尤其在群体活动识别方面表现突出。
引用
@article{arxiv.2411.01769,
title = {ARN-LSTM: A Multi-Stream Fusion Model for Skeleton-based Action Recognition},
author = {Chuanchuan Wang and Ahmad Sufril Azlan Mohmamed and Mohd Halim Bin Mohd Noor and Xiao Yang and Feifan Yi and Xiang Li},
journal= {arXiv preprint arXiv:2411.01769},
year = {2024}
}
备注
15 pages,6 figures,4 tables