融合几何特征的多人视频人机交互识别
计算机视觉与模式识别
2022-07-20 v1
摘要
视频中的人机交互(HOI)识别对于分析人类活动十分重要。现有多数关注视觉特征的工作在真实场景常受遮挡影响。当多人及多物体参与HOI时，该问题更为复杂。考虑到人体姿态与物体位置等几何特征可为理解HOI提供有意义信息，我们认为应结合视觉与几何特征的优势进行HOI识别，并提出一种新颖的两级几何特征引导图卷积网络(2G-GCN)。几何级图对人体与物体的几何特征间相互依赖关系建模，而融合级图进一步将其与人体和物体的视觉特征融合。为在挑战性场景中证明方法的新颖性与有效性，我们提出了一个新的多人HOI数据集(MPHOI-72)。在MPHOI-72(多人HOI)、CAD-120(单人HOI)与Bimanual Actions(双手HOI)数据集上的大量实验表明，我们的性能优于当前最优方法。
引用
@article{arxiv.2207.09425,
title = {Geometric Features Informed Multi-person Human-object Interaction Recognition in Videos},
author = {Tanqiu Qiao and Qianhui Men and Frederick W. B. Li and Yoshiki Kubotani and Shigeo Morishima and Hubert P. H. Shum},
journal= {arXiv preprint arXiv:2207.09425},
year = {2022}
}
备注
Accepted by ECCV 2022