利用交互点学习人-物交互检测
计算机视觉与模式识别
2020-04-01 v1
摘要
理解人与物体之间的交互是视觉分类中的基本问题之一，也是迈向详细场景理解的必要步骤。人-物交互（HOI）检测致力于定位人和物体，并识别它们之间复杂的交互。大多数现有的HOI检测方法是以实例为中心的，即基于外观特征和粗糙的空间信息来预测所有可能的人-物对之间的交互。我们认为仅凭外观特征不足以捕捉复杂的人-物交互。因此，在本文中，我们提出了一种新颖的全卷积方法，直接检测人-物对之间的交互。我们的网络预测交互点，从而直接对交互进行定位和分类。结合密集预测的交互向量，将这些交互与人和物体的检测结果相关联，以获得最终的预测结果。据我们所知，我们是首个将HOI检测视为关键点检测与分组问题并提出相应方法的研究者。我们在两个流行的基准数据集上进行了实验：V-COCO和HICO-DET。我们的方法在两个数据集上都达到了新的SOTA。代码可在 https://github.com/vaesl/IP-Net 获取。
引用
@article{arxiv.2003.14023,
title = {Learning Human-Object Interaction Detection using Interaction Points},
author = {Tiancai Wang and Tong Yang and Martin Danelljan and Fahad Shahbaz Khan and Xiangyu Zhang and Jian Sun},
journal= {arXiv preprint arXiv:2003.14023},
year = {2020}
}
备注
Accepted to CVPR 2020