类别感知 Transformer 网络用于更优的人-物交互检测
计算机视觉与模式识别
2022-05-10 v2
摘要
人-物交互（HOI）检测旨在定位人体与相关物体并识别其交互，对于理解静态图像至关重要。近来，基于 transformer 的模型显著推进了 HOI 检测的进展。然而，这些模型的能力尚未被充分挖掘，因为其 Object Query 总是简单地初始化为零，这会影响性能。本文尝试研究通过以类别感知语义信息初始化 Object Query 来提升基于 transformer 的 HOI 检测器的问题。为此，我们创新性地提出类别感知 Transformer 网络（CATN）。具体而言，Object Query 将通过由外部目标检测模型表示的类别先验进行初始化，从而获得更优性能。此外，此类类别先验可进一步通过注意力机制用于增强特征的表征能力。我们首先利用以真值类别信息初始化 Object Query 的 Oracle 实验验证了该思路，随后开展了大量实验表明，搭载我们思路的 HOI 检测模型大幅优于基线，取得了新的 SOTA 结果。
引用
@article{arxiv.2204.04911,
title = {Category-Aware Transformer Network for Better Human-Object Interaction Detection},
author = {Leizhen Dong and Zhimin Li and Kunlun Xu and Zhijun Zhang and Luxin Yan and Sheng Zhong and Xu Zou},
journal= {arXiv preprint arXiv:2204.04911},
year = {2022}
}
备注
Accepted by CVPR2022