人体-物体交互检测器诊断方法
计算机视觉与模式识别
2023-12-04 v2
摘要
我们见证了人体-物体交互（HOI）检测的重大进展。然而，依赖 mAP（平均精度均值）分数作为总结性指标，无法充分揭示模型性能的细微差异（例如，为何一个模型优于另一个），这可能阻碍该领域的进一步创新。为解决此问题，本文受目标检测诊断工具箱成功的启发，引入了一个诊断工具箱，对 HOI 检测模型提供详细的定量分解分析。我们首先对 HOI 检测流程进行整体性研究。通过定义一组错误及修复各错误的预言机（oracle），我们可根据修复每个错误所获得的 mAP 提升，对不同错误的重要性进行定量分析。随后我们分别深入 HOI 检测的两个子任务：人体-物体对检测与交互分类。对于第一个检测任务，我们计算真实人体-物体对的覆盖率以及检测结果中的噪声水平。对于第二个分类任务，我们衡量模型区分正负检测结果的能力，以及在人体-物体对被正确检测时对实际交互进行分类的能力。我们分析了八个最先进的 HOI 检测模型，并提供有价值的诊断见解以促进未来研究。例如，我们的诊断表明，最先进的模型 RLIPv2 优于其他模型，主要是因为它显著提升了多标签交互分类准确率。我们的工具箱适用于不同数据集上的不同方法，代码见 https://github.com/neu-vi/Diag-HOI。
引用
@article{arxiv.2308.08529,
title = {Diagnosing Human-object Interaction Detectors},
author = {Fangrui Zhu and Yiming Xie and Weidi Xie and Huaizu Jiang},
journal= {arXiv preprint arXiv:2308.08529},
year = {2023}
}