面向基于 DETR 的人-物交互检测难正查询挖掘
计算机视觉与模式识别
2022-07-13 v1
摘要
人-物交互（HOI）检测是高级图像理解的核心任务。近来，基于 Detection Transformer（DETR）的 HOI 检测器因其优越性能和高效结构而流行。然而，这些方法通常对所有测试图像采用固定的 HOI 查询，这易受特定图像中物体位置变化的干扰。相应地，本文提出通过挖掘难正查询来增强 DETR 的鲁棒性，这些查询被强制利用部分视觉线索做出正确预测。首先，我们根据每幅训练图像中标注人-物对的真值（GT）位置显式构造难正查询。具体而言，我们平移每个标注人-物对的 GT 边界框，使平移后的框仅覆盖 GT 框的一定部分。我们将每个标注人-物对平移框的坐标编码为 HOI 查询。其次，我们通过掩码解码器层交叉注意力图中的最高分数隐式构造另一组难正查询。被掩码的注意力图随后仅覆盖 HOI 预测的部分重要线索。最后，提出一种交替策略高效结合两类难查询。在每次迭代中，采用 DETR 的可学习查询与一类选定的难正查询进行损失计算。实验结果表明，我们提出的方法可广泛应用于现有基于 DETR 的 HOI 检测器。此外，我们在三个基准 HICO-DET、V-COCO 和 HOI-A 上一致取得了最先进的性能。代码可在 https://github.com/MuchHair/HQM 获取。
引用
@article{arxiv.2207.05293,
title = {Towards Hard-Positive Query Mining for DETR-based Human-Object Interaction Detection},
author = {Xubin Zhong and Changxing Ding and Zijian Li and Shaoli Huang},
journal= {arXiv preprint arXiv:2207.05293},
year = {2022}
}
备注
Accepted by ECCV2022