结合交互感知提示与概念校准的开放词汇人-物交互检测
计算机视觉与模式识别
2025-08-06 v1
摘要
开放词汇人-物交互（HOI）检测旨在检测人与物体之间的交互，同时泛化到训练集之外的新颖交互类别。当前方法通常依赖视觉与语言模型（VLMs），但由于图像编码器不够理想而面临挑战，因为图像级预训练与 HOI 所需的细粒度区域级交互检测不能很好地对齐。此外，有效编码视觉外观的文本描述仍然困难，限制了模型捕捉详细 HOI 关系的能力。为了解决这些问题，我们提出了结合概念校准的交互感知提示（INP-CC），这是一种端到端的开放词汇 HOI 检测器，集成了交互感知提示和概念校准。具体而言，我们提出了一个交互感知提示生成器，它根据输入场景动态生成一组紧凑的提示，从而在相似交互之间实现选择性共享。这种方法将模型的注意力引导至关键交互模式而非通用的图像级语义，从而增强 HOI 检测。此外，我们通过语言模型引导的校准来精炼 HOI 概念表示，这有助于通过研究跨类别的视觉相似性来区分不同的 HOI 概念。还采用了负采样策略来改进跨模态相似性建模，使模型能够更好地区分视觉上相似但语义上不同的动作。大量实验结果表明，INP-CC 在 SWIG-HOI 和 HICO-DET 数据集上显著优于 SOTA 模型。代码可在 https://github.com/ltttpku/INP-CC 获取。
关键词
引用
@article{arxiv.2508.03207,
title = {Open-Vocabulary HOI Detection with Interaction-aware Prompt and Concept Calibration},
author = {Ting Lei and Shaofeng Yin and Qingchao Chen and Yuxin Peng and Yang Liu},
journal= {arXiv preprint arXiv:2508.03207},
year = {2025}
}