学习相互激发用于手对手及人对人交互识别
计算机视觉与模式识别
2024-12-25 v2 机器学习
摘要
识别交互动作（包括手对手交互和人对人交互）在视频分析和人机交互领域的各种应用中引起了越来越多的关注。鉴于图卷积在从骨架数据中建模拓扑感知特征方面的成功，近期方法通常在独立实体上进行图卷积操作，并使用后期融合进行交互动作识别，这几乎无法建模成对实体之间的相互语义关系。为此，我们提出了一种相互激发图卷积网络（me-GCN），通过堆叠相互激发图卷积（me-GC）层构建。具体而言，me-GCN使用相互拓扑激发模块首先从各个实体中提取邻接矩阵，然后自适应地建模它们之间的相互约束。此外，me-GCN扩展了上述思想，并进一步使用相互特征激发模块来提取和合并成对实体的深度特征。与图卷积相比，我们提出的me-GCN在图卷积操作的每一层和每个阶段逐步学习相互信息。在一个具有挑战性的手对手交互数据集（即Assembely101数据集）和两个大规模人对人交互数据集（即NTU60-Interaction和NTU120-Interaction）上的大量实验一致验证了我们所提方法的优越性，其性能优于基于GCN和基于Transformer的SOTA方法。
引用
@article{arxiv.2402.02431,
title = {Learning Mutual Excitation for Hand-to-Hand and Human-to-Human Interaction Recognition},
author = {Mengyuan Liu and Chen Chen and Songtao Wu and Fanyang Meng and Hong Liu},
journal= {arXiv preprint arXiv:2402.02431},
year = {2024}
}