基于姿态的模块化网络用于人-物交互检测
计算机视觉与模式识别
2020-08-06 v1
摘要
人-物交互(HOI)检测是场景理解中的一项关键任务。其目标是在场景中推断出三元组<subject, predicate, object>。在本工作中，我们注意到人体姿态本身以及人体姿态相对于目标物体的相对空间信息能够为HOI检测提供信息丰富的线索。我们提出了一种基于姿态的模块化网络(PMN)，该网络探索绝对姿态特征与相对空间姿态特征以改进HOI检测，并且与现有网络完全兼容。我们的模块包含一个分支，该分支首先独立处理每个关节的相对空间姿态特征；另一个分支通过全连接图结构更新绝对姿态特征。处理后的姿态特征随后被输入一个动作分类器。为了评估我们所提出的方法，我们将该模块与名为VS-GATs的当前最优(state-of-the-art)模型相结合，并在两个公开基准V-COCO和HICO-DET上取得了显著提升，显示了其有效性与灵活性。代码已发布于\url{https://github.com/birlrobotics/PMN}。
引用
@article{arxiv.2008.02042,
title = {Pose-based Modular Network for Human-Object Interaction Detection},
author = {Zhijun Liang and Junfa Liu and Yisheng Guan and Juan Rojas},
journal= {arXiv preprint arXiv:2008.02042},
year = {2020}
}