HODN：解耦人与物体特征用于 HOI 检测
计算机视觉与模式识别
2023-12-08 v2
摘要
人-物交互（HOI）检测任务旨在检测人及其与周围物体的交互，基于 transformer 的方法目前展现出主导性进展。然而，这些方法忽略了人、物体与交互间的关系：1）人特征比物体特征对交互预测贡献更大；2）交互信息干扰物体检测但有助于人体检测。本文提出一种人与物体解耦网络（HODN）以显式建模 HOI 关系，其中人与物体首先由两个解耦解码器独立检测，再由交互解码器处理。考虑到人特征对交互贡献更大，我们提出人引导链接方法，以人特征作为位置嵌入确保交互解码器聚焦于以人为中心的区域。为处理交互对人及物体的相反影响，我们提出停止梯度机制，阻断交互梯度优化物体检测而允许其优化人体检测。我们提出的方法在 V-COCO 与 HICO-Det 数据集上均取得具竞争力的性能，并可轻松结合现有方法以达最先进结果。
引用
@article{arxiv.2308.10158,
title = {HODN: Disentangling Human-Object Feature for HOI Detection},
author = {Shuman Fang and Zhiwen Lin and Ke Yan and Jie Li and Xianming Lin and Rongrong Ji},
journal= {arXiv preprint arXiv:2308.10158},
year = {2023}
}
备注
Accepted by TMM 2023