IGFormer：基于骨架的人体交互识别的交互图Transformer
计算机视觉与模式识别
2022-07-26 v1
摘要
人体交互识别在许多应用中十分重要。识别交互的一个关键线索是交互身体部位。在本工作中，我们提出一种新颖的交互图Transformer（IGFormer）网络，通过将交互身体部位建模为图来进行基于骨架的交互识别。更具体地，所提出的IGFormer根据交互身体部位之间的语义与距离相关性构建交互图，并基于所学得的图聚合交互身体部位的信息以增强每个人的表征。此外，我们提出一个语义划分模块，将每个人体骨架序列转换为身体部位-时间序列，以更好地捕捉骨架序列的空间与时间信息用于学习图。在三个基准数据集上的大量实验表明，我们的模型以显著优势优于当前最优（SOTA）方法。
引用
@article{arxiv.2207.12100,
title = {IGFormer: Interaction Graph Transformer for Skeleton-based Human Interaction Recognition},
author = {Yunsheng Pang and Qiuhong Ke and Hossein Rahmani and James Bailey and Jun Liu},
journal= {arXiv preprint arXiv:2207.12100},
year = {2022}
}
备注
Accepted by ECCV 2022