基于交互身体部位注意力的人体交互识别框架

视频中的人体活动识别已被广泛研究，并随着深度学习方法近期取得显著进展；然而，它仍是一项具有挑战性的任务。在本文中，我们提出一种新颖的框架，通过融合交互主动发生的局部图像信息、个体受试者身体部位的原始运动与姿态，以及整体外观变化的共现，同时考虑人体交互的隐式与显式表示。人体交互会根据每个人的身体部位与另一人的交互方式而改变。所提方法利用交互身体部位注意力捕捉不同交互之间的细微差异。在特征表示过程中，与其他物体交互的语义重要身体部位被赋予更大权重。基于交互身体部位注意力的个体表示与全身外观变化共现描述符的联合特征被输入长短期记忆网络，以在单一框架中对随时间的时间动态建模。我们使用四个广泛使用的公共数据集验证了所提方法的有效性，其性能优于竞争的最先进方法。