QueryCraft：基于Transformer引导的查询初始化用于增强人物-对象互动检测
计算机视觉与模式识别
2025-08-13 v1 人机交互
摘要
人物-对象互动（Human-Object Interaction, HOI）检测旨在局化人物-对象对并识别其在图像中的互动。尽管DETR类方法最近涌现为HOI检测的主流框架，但仍存在一个关键局限性：随机初始化的查询缺乏显式语义，导致检测性能次优。为此，我们提出QueryCraft，一个新颖的即插即用式HOI检测框架，融合语义先验和通过基于Transformer的查询初始化实现的引导特征学习。我们方法的核心是ACTOR（Action-aware Cross-modal Transformer），一种跨模态Transformer编码器，同时注意视觉区域和文本提示，以提取与动作相关的特征。与仅对齐模态不同，ACTOR利用语言引导注意力推断互动语义并生成语义上有意义的查询表示。为进一步提升对象级查询质量，我们引入感知蒸馏查询解码器（Perceptual Distilled Query Decoder, PDQD），从预训练检测器中蒸馏出对象类别 awareness，用于查询初始化。这一双分支查询初始化使模型能够为HOI检测生成更具可解释性和效能的查询。大量实验表明，在HICO-Det和V-COCO基准上，我们的方法实现了最先进的性能和强大的泛化能力。代码将在发表后发布。
关键词
引用
@article{arxiv.2508.08590,
title = {QueryCraft: Transformer-Guided Query Initialization for Enhanced Human-Object Interaction Detection},
author = {Yuxiao Wang and Wolin Liang and Yu Lei and Weiying Xue and Nan Zhuang and Qi Liu},
journal= {arXiv preprint arXiv:2508.08590},
year = {2025}
}