用于人体活动识别的注意力驱动身体姿态编码
计算机视觉与模式识别
2020-10-05 v2 机器学习
图像与视频处理
摘要
本文提出了一种新颖的基于注意力的身体姿态编码用于人体活动识别，该编码给出了一种学习得到的增强型身体姿态表示。增强数据补充了 3D 身体关节位置数据并提升了模型性能。在本文中，我们提出一种新颖方法，从给定的 3D 身体关节序列中学习增强的特征表示。为实现此编码，该方法利用 1）一个空间流，其在每个时间点编码各身体关节之间的空间关系，以学习涉及不同身体关节空间分布的空间结构；2）一个时间流，其学习单个身体关节在整个序列时长上的时间变化，以给出时间增强的表示。之后，这两个姿态流通过多头注意力机制融合。我们还使用 Inception-ResNet-V2 模型结合多头注意力和双向长短期记忆（LSTM）网络从 RGB 视频流中捕获上下文信息。最后，RGB 视频流与融合的身体姿态流相结合，给出一种新颖的端到端深度模型，用于有效的人体活动识别。
引用
@article{arxiv.2009.14326,
title = {Attention-Driven Body Pose Encoding for Human Activity Recognition},
author = {B Debnath and M O'brien and S Kumar and A Behera},
journal= {arXiv preprint arXiv:2009.14326},
year = {2020}
}
备注
This paper has been accepted for publication at the IAPR IEEE/Computer Society International Conference on Pattern Recognition (ICPR), Milan, 2021