基于解耦 Transformer 的人-物交互检测
计算机视觉与模式识别
2022-04-21 v1
摘要
人-物交互(HOI)检测致力于联合定位与分类人-物交互。现有 HOI Transformer 要么采用单一解码器进行三元组预测，要么利用两个并行解码器分别检测独立物体与交互，并通过匹配过程组合三元组。相比之下，我们将三元组预测解耦为人-物对检测与交互分类。我们的主要动机在于，准确检测人-物实例与分类交互需要学习关注不同区域的表征。为此，我们提出解耦 Transformer(Disentangled Transformer)，其编码器与解码器均被解耦以助益两个子任务的学习。为关联解耦解码器的预测，我们首先用基础解码器为 HOI 三元组生成统一表征，再将其作为各解耦解码器的输入特征。大量实验表明，我们的方法在两个公开 HOI 基准上以可观优势超越先前工作。代码将公开。
引用
@article{arxiv.2204.09290,
title = {Human-Object Interaction Detection via Disentangled Transformer},
author = {Desen Zhou and Zhichao Liu and Jian Wang and Leshan Wang and Tao Hu and Errui Ding and Jingdong Wang},
journal= {arXiv preprint arXiv:2204.09290},
year = {2022}
}
备注
Accepted by CVPR2022