DQEN：用于基于DETR的人-物交互检测的双重查询增强网络
计算机视觉与模式识别
2025-08-27 v1
摘要
人-物交互（HOI）检测专注于定位人-物对并识别其交互。最近，基于DETR的框架已被广泛用于HOI检测。在基于DETR的HOI模型中，具有明确含义的查询对于准确检测HOI至关重要。然而，先前的工作通常依赖于随机初始化的查询，导致表征模糊，限制了模型的有效性。同时，HOI类别中的人是固定的，而物体及其交互是可变的。因此，我们提出了一个双重查询增强网络（DQEN）来增强物体查询和交互查询。具体来说，物体查询通过物体感知的编码器特征进行增强，使模型能够以物体感知的方式更有效地关注与物体交互的人。另一方面，我们设计了一个新颖的交互语义融合模块，以利用由CLIP模型提升的HOI候选。提取语义特征以增强交互查询的初始化，从而提高模型理解交互的能力。此外，我们引入了一个辅助预测单元，旨在改善交互特征的表示。我们提出的方法在HICO-Det和V-COCO数据集上均取得了有竞争力的性能。源代码可在 https://github.com/lzzhhh1019/DQEN 获取。
引用
@article{arxiv.2508.18896,
title = {DQEN: Dual Query Enhancement Network for DETR-based HOI Detection},
author = {Zhehao Li and Chong Wang and Yi Chen and Yinghao Lu and Jiangbo Qian and Jiong Wang and Jiafei Wu},
journal= {arXiv preprint arXiv:2508.18896},
year = {2025}
}