用于检测人-物交互的空间 priming
计算机视觉与模式识别
2020-04-13 v1 人工智能
机器学习
机器人学
摘要
人与物体的相对空间布局是判断它们如何交互的重要线索。然而，迄今为止，空间布局仅被用作检测人-物交互（HOIs）的辅助信息。在本文中，我们提出了一种利用该空间布局信息来检测图像中 HOIs 的方法。所提方法由一个布局模块组成，该模块 priming 一个视觉模块以预测人与物体之间的交互类型。视觉模块和布局模块在多个阶段通过横向连接共享信息。模型使用布局模块的输出作为视觉模块的先验，而视觉模块的输出被作为最终输出。它还利用 word2vec 向量融入关于物体的语义信息。所提模型在 HICO-Det 数据集上达到 24.79% 的 mAP，比当前最优（state-of-the-art）绝对高出约 2.8 个百分点。
引用
@article{arxiv.2004.04851,
title = {Spatial Priming for Detecting Human-Object Interactions},
author = {Ankan Bansal and Sai Saketh Rambhatla and Abhinav Shrivastava and Rama Chellappa},
journal= {arXiv preprint arXiv:2004.04851},
year = {2020}
}