中文

iCAN:用于人-物交互检测的实例中心注意力网络

计算机视觉与模式识别 2018-08-31 v1

摘要

近年来,在检测和识别单个物体实例方面取得了快速进展。然而,为了理解场景中的情形,计算机需要识别人类如何与周围物体交互。本文中,我们攻克了检测人-物交互(HOI)这一具有挑战性的任务。我们的核心思想是,人或物体实例的外观包含有信息量的线索,指示应关注图像中哪些相关区域以辅助交互预测。为利用这些线索,我们提出了一种实例中心注意力模块,该模块学习根据每个实例的外观动态地高亮图像中的区域。这种基于注意力的网络使我们能够有选择地聚合与识别 HOI 相关的特征。我们在 Verb in COCO 和 HICO-DET 数据集上验证了所提网络的有效性,并表明我们的方法与当前最优(SOTA)方法相比具有优势。

关键词

引用

@article{arxiv.1808.10437,
  title  = {iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection},
  author = {Chen Gao and Yuliang Zou and Jia-Bin Huang},
  journal= {arXiv preprint arXiv:1808.10437},
  year   = {2018}
}

备注

BMVC 2018. Project webpage: https://gaochen315.github.io/iCAN/ Code: https://github.com/vt-vl-lab/iCAN