RoHOI：人-物体交互检测的鲁棒性基准
计算机视觉与模式识别
2025-10-14 v3 人机交互
机器人学
图像与视频处理
摘要
人-物体交互(HOI)检测对于机器人-人类协助至关重要，使其能够实现情境感知的支持。然而，受训练于干净数据集的模型在现实条件下会因不可预见的损坏而退化，导致不准确的预测。为此，我们引入了 HOI 检测的第一个鲁棒性基准，评估模型在多样化挑战下的韧性。尽管取得了进展，当前模型在环境可变性、遮挡和噪声方面仍感到困难。我们的基准 RoHOI 包括基于 HICO-DET 和 V-COCO 数据集的 20 种损坏类型，以及一个新的鲁棒性专用指标。我们系统地分析了 HOI 领域的现有模型，揭示了在损坏情况下的显著性能下降。为提高鲁棒性，我们提出了基于语义感知的遮蔽式渐进学习(SAMPL)策略，以引导模型基于整体和局部线索进行优化，从而动态调整模型的优化以增强稳健特征学习。大量实验表明，我们的方法超越了最先进的方法，制定了稳健 HOI 检测的新标准。基准、数据集和代码均已于 https://github.com/KratosWen/RoHOI 提供。
引用
@article{arxiv.2507.09111,
title = {RoHOI: Robustness Benchmark for Human-Object Interaction Detection},
author = {Di Wen and Kunyu Peng and Kailun Yang and Yufan Chen and Ruiping Liu and Junwei Zheng and Alina Roitberg and Danda Pani Paudel and Luc Van Gool and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2507.09111},
year = {2025}
}
备注
Benchmarks, datasets, and code are available at https://github.com/KratosWen/RoHOI