几何特征增强的人物-对象互动检测
计算机视觉与模式识别
2024-06-28 v1
摘要
相机是捕捉图像用于模式检测和测量的关键视觉仪器。人物-对象互动（HOI）检测是捕获人类中心视觉场景中最流行的模式检测方法之一。最近，基于 Transformer 的模型因其先进的网络结构而成为 HOI 检测的主导方法。然而，大多数模型遵循 vanilla Transformer 的单阶段设计，未充分利用丰富的几何先验，尤其在遮挡发生时表现受限。鉴于几何特征在遮挡场景中往往优于视觉特征，并提供补充视觉线索的信息，我们提出了一种新型以几何特征增强的人物-对象互动检测模型，即几何特征增强 HOI 检测器（GeoHOI）。该模型的关键组成部分是一种新的统一自监督关键点学习方法，称为 UniPointNet，旨在跨越不同对象类别（包括人类）的关键点表征之间的鸿沟。GeoHOI 通过关键点相似性衡量人物-对象互动可能性，并利用局部关键点 patches 来增强互动查询表征，从而提升 HOI 预测性能。大量实验表明，所提方法在 V-COCO 上超越了最新模型，并在 HICO-DET 上取得具竞争力的性能。针对基于仪器的后灾难救援案例研究展示了 GeoHOI 在实际应用中的可行性。
引用
@article{arxiv.2406.18691,
title = {Geometric Features Enhanced Human-Object Interaction Detection},
author = {Manli Zhu and Edmond S. L. Ho and Shuang Chen and Longzhi Yang and Hubert P. H. Shum},
journal= {arXiv preprint arXiv:2406.18691},
year = {2024}
}
备注
Accepted to IEEE TIM