利用场景图进行人-物交互检测
计算机视觉与模式识别
2021-08-20 v1
摘要
人-物交互（HOI）检测是一项基础视觉任务，旨在定位并识别人与物体之间的交互。现有工作聚焦于人和物体的视觉与语言特征，却未充分利用图像中存在的、为 HOI 推理提供关键上下文与详细关系知识的高级语义关系。我们提出一种新方法，通过场景图来利用该信息，用于人-物交互（SG2HOI）检测任务。我们的 SG2HOI 方法以两种方式融入场景图（SG）信息：（1）将场景图嵌入为全局上下文线索，作为特定场景的环境上下文；（2）构建关系感知的消息传递模块，从物体的邻域中收集关系并将其转化为交互。实证评估表明，我们的 SG2HOI 方法在两个基准 HOI 数据集 V-COCO 和 HICO-DET 上优于当前最先进的方法。代码将发布于 https://github.com/ht014/SG2HOI。
引用
@article{arxiv.2108.08584,
title = {Exploiting Scene Graphs for Human-Object Interaction Detection},
author = {Tao He and Lianli Gao and Jingkuan Song and Yuan-Fang Li},
journal= {arXiv preprint arXiv:2108.08584},
year = {2021}
}
备注
Accepted to ICCV 2021