HOTR:基于 Transformer 的端到端人-物交互检测
计算机视觉与模式识别
2021-04-29 v1
摘要
人-物交互(HOI)检测是一项识别图像中“一组交互”的任务,涉及 i) 交互主体(即人)与目标(即物体)的定位,以及 ii) 交互标签的分类。大多数现有方法通过检测人和物体实例并逐个推断所检测实例的每一对来间接处理该任务。在本文中,我们提出了一个称为 HOTR 的新颖框架,它基于 transformer 编码器-解码器架构直接从图像预测一组 <人, 物体, 交互> 三元组。通过集合预测,我们的方法有效利用了图像中固有的语义关系,并且不需要耗时的后处理,而后者是现有方法的主要瓶颈。我们提出的算法在两个 HOI 检测基准上取得了最先进的性能,且在物体检测后推理时间低于 1 毫秒。
引用
@article{arxiv.2104.13682,
title = {HOTR: End-to-End Human-Object Interaction Detection with Transformers},
author = {Bumsoo Kim and Junhyun Lee and Jaewoo Kang and Eun-Sol Kim and Hyunwoo J. Kim},
journal= {arXiv preprint arXiv:2104.13682},
year = {2021}
}
备注
Accepted to CVPR 2021 (Oral Presentation)