面向人际动作识别的并发感知长短期子记忆
计算机视觉与模式识别
2022-04-26 v2
摘要
近来，长短期记忆（LSTM）因能在不同范围的动态上下文中建模时间信息，已成为单人动作识别中建模个体动态的热门选择。然而，现有RNN模型仅通过朴素地组合个体活动动态或将交互整体建模来捕捉人际交互的时间动态，这忽略了人际交互如何随时间变化的相互关联动态。为此，我们提出一种新颖的并发感知长短期子记忆（Co-LSTSM）来在覆盖人的边界框上建模两个交互人之间的长期相互关联动态。具体而言，对于每帧，两个子记忆单元存储个体运动信息，而一个并发LSTM单元通过新的共记忆单元从这些子记忆单元中有选择地整合和存储交互人之间的相互关联运动信息。在BIT和UT数据集上的实验结果表明了Co-LSTSM相较于最先进方法的优越性。
引用
@article{arxiv.1706.00931,
title = {Concurrence-Aware Long Short-Term Sub-Memories for Person-Person Action Recognition},
author = {Xiangbo Shu},
journal= {arXiv preprint arXiv:1706.00931},
year = {2022}
}