以人类视角的人-物互动检测：一个新基准与方法
计算机视觉与模式识别
2025-08-27 v2
摘要
以人类视角的人-物互动（Ego-HOI）检测对于智能代理理解和协助人类活动具有至关重要作用。然而，由于缺乏针对以人类视角为导向的挑战（如严重的手-物遮挡）而制定的基准和方法，进展一直受到阻碍。本文引入了真实世界的以人类视角为导向的人-物互动检测任务，并推出相应的Ego-HOIBench数据集，包含超过27,000张以人类视角拍摄的图像，涵盖123个类别，提供细粒度的手-动作-物 triplet 标注。Ego-HOIBench涵盖多样化的日常场景、物体类型以及单手和双手互动，为Ego-HOI研究提供了全面的测试基准。对现有第三人称HOI检测器在Ego-HOIBench上的基准测试 reveals 显著的性能差距，凸显了需要针对以人类视角特点的解决方案。为此，我们提出了手部几何与互动细化（Hand Geometry and Interactivity Refinement, HGIR）方法，一种轻量级、即插即用的方案，利用手部姿态和几何线索来增强互动表征。具体而言，HGIR从估计的手部姿态提案中显式提取全局手部几何特征，并通过姿态-互动注意力进一步细化互动特征，使模型能够在严重遮挡下聚焦于细微的手部-物体关系差异。HGIR显著提升了Ego-HOI检测性能，在Ego-HOIBench上取得了新的最先进结果。我们的数据集和方法为未来的以人类视角和人-物互动理解研究奠定了坚实的基础。项目页面：https://dengkunyuan.github.io/EgoHOIBench/
引用
@article{arxiv.2506.14189,
title = {Egocentric Human-Object Interaction Detection: A New Benchmark and Method},
author = {Kunyuan Deng and Yi Wang and Lap-Pui Chau},
journal= {arXiv preprint arXiv:2506.14189},
year = {2025}
}