基于交互候选的结构感知 Transformer 用于人-物交互检测
计算机视觉与模式识别
2022-06-14 v1 人工智能
多媒体
摘要
近期高性能的人-物交互（HOI）检测技术深受基于 Transformer 的目标检测器（即 DETR）影响。然而，多数方法通过朴素 Transformer 以单阶段方式直接将参数化交互查询映射为一组 HOI 预测，致使丰富的交互间或交互内结构未被充分挖掘。本工作中，我们设计了一种新颖的 Transformer 风格 HOI 检测器，即基于交互候选的结构感知 Transformer（STIP），用于 HOI 检测。该设计将 HOI 集合预测过程分解为两个相继阶段：首先生成交互候选，随后通过结构感知 Transformer 将非参数化交互候选转换为 HOI 预测。结构感知 Transformer 通过额外编码交互候选间整体语义结构以及每个交互候选内人/物的局部空间结构来升级朴素 Transformer，从而增强 HOI 预测。在 V-COCO 与 HICO-DET 基准上的大量实验证明了 STIP 的有效性，且与最先进 HOI 检测器相比报告了更优结果。源代码发布于 \url{https://github.com/zyong812/STIP}。
引用
@article{arxiv.2206.06291,
title = {Exploring Structure-aware Transformer over Interaction Proposals for Human-Object Interaction Detection},
author = {Yong Zhang and Yingwei Pan and Ting Yao and Rui Huang and Tao Mei and Chang-Wen Chen},
journal= {arXiv preprint arXiv:2206.06291},
year = {2022}
}
备注
CVPR 2022; Code is publicly available at: https://github.com/zyong812/STIP