基于 HOI Transformer 的端到端人-物交互检测

我们提出 HOI Transformer 以端到端方式解决人-物交互(HOI)检测问题。现有方法或将 HOI 任务解耦为目标检测与交互分类的分离阶段,或引入代理交互问题。相反,我们名为 HOI Transformer 的方法通过消除对许多手工设计组件的需求简化了 HOI 流程。HOI Transformer 从全局图像上下文推断物体与人的关系,并直接并行预测 HOI 实例。我们引入了五元组匹配损失以统一方式约束 HOI 预测。我们的方法在概念上更简单且表现出更高的精度。无需额外技巧,HOI Transformer 在 HICO-DET 上取得 $26.61\%$ $AP$,在 V-COCO 上取得 $52.9\%$ $AP_{role}$,以更简单的优势超越以往方法。我们希望该方法能作为 HOI 任务简单而有效的替代方案。代码见 https://github.com/bbepoch/HoiTransformer 。