一种用于人-物交互检测的骨架感知图卷积网络
计算机视觉与模式识别
2022-07-13 v1 人工智能
摘要
检测人-物交互(human-object interaction)对于全面理解视觉场景至关重要。特别地，人与物之间的空间连接是推理交互的重要线索。为此，我们提出了一种用于人-物交互检测的骨架感知图卷积网络，命名为 SGCN4HOI。我们的网络利用人体关键点与物体关键点之间的空间连接，通过图卷积捕获其细粒度结构交互。它将此类几何特征与从人-物对获得的视觉特征和空间配置特征相融合。此外，为更好地保留物体结构信息并促进人-物交互检测，我们提出了一种新颖的基于骨架的物体关键点表示。SGCN4HOI 的性能在公开基准 V-COCO 数据集上进行了评估。实验结果表明，所提方法优于当前最优的基于姿态的模型，并与其他模型取得有竞争力的性能。
引用
@article{arxiv.2207.05733,
title = {A Skeleton-aware Graph Convolutional Network for Human-Object Interaction Detection},
author = {Manli Zhu and Edmond S. L. Ho and Hubert P. H. Shum},
journal= {arXiv preprint arXiv:2207.05733},
year = {2022}
}
备注
Accepted by IEEE SMC 2022