时空人-物交互检测
计算机视觉与模式识别
2025-08-26 v1 多媒体
摘要
在本文中，我们提出了一种新的视频上的实例级人-物交互检测任务，称为 ST-HOID，旨在区分细粒度的人-物交互（HOI）以及主体和客体的轨迹。该任务的动机在于 HOI 对于以人为中心的视频内容理解至关重要。为解决 ST-HOID，我们提出了一种新方法，包含一个物体轨迹检测模块和一个交互推理模块。此外，我们构建了第一个名为 VidOR-HOID 的数据集用于 ST-HOID 评估，其中包含 10,831 个时空 HOI 实例。我们进行了大量实验以评估我们方法的有效性。实验结果表明，我们的方法优于由图像人-物交互检测、视频视觉关系检测和视频人-物交互识别的最先进方法生成的基线。
引用
@article{arxiv.2508.17270,
title = {Spatial-Temporal Human-Object Interaction Detection},
author = {Xu Sun and Yunqing He and Tongwei Ren and Gangshan Wu},
journal= {arXiv preprint arXiv:2508.17270},
year = {2025}
}