面向开放词表 HOI 检测的分层粒度比较网络 SGC-Net
计算机视觉与模式识别
2025-03-04 v1
摘要
近期的开放词表人物-物体交互（OV-HOI）检测方法主要依赖大语言模型（LLM）生成辅助描述，并利用从 CLIP distillation 到的知识来检测未知交互类别。尽管这些方法效果良好，但面临两个挑战：（1）特征粒度不足，因依赖最后一层视觉特征进行文本对齐，导致忽略中间层中关键的对象级细节；（2）语义相似性混淆，源于 CLIP 对某些类别存在固有偏见，而仅基于标签的 LLM 生成描述未能充分捕捉类别间的相似性。为此，我们提出一种分层粒度比较网络。首先，引入粒度感知对齐模块，将全局语义特征与局部细节融合，细化交互表征，确保中间视觉特征与文本嵌入之间实现稳健对齐。其次，开发层次化组比较模块，递归比较并分组类别，为每个交互类别生成细粒度且具辨识力的描述。在两个广泛使用的基准数据集 SWIG-HOI 和 HICO-DET 上的实验结果表明，我们的方法在 OV-HOI 检测中实现了最新成果。代码将发布于 https://github.com/Phil0212/SGC-Net。
引用
@article{arxiv.2503.00414,
title = {SGC-Net: Stratified Granular Comparison Network for Open-Vocabulary HOI Detection},
author = {Xin Lin and Chong Shi and Zuopeng Yang and Haojin Tang and Zhili Zhou},
journal= {arXiv preprint arXiv:2503.00414},
year = {2025}
}
备注
Accepted by CVPR 2025