UAHOI：面向HOI检测的不确定性感知鲁棒交互学习

本文聚焦于人机交互（HOI）检测，旨在解决在给定图像或视频帧中识别和理解人与物体之间交互的挑战。在检测Transformer（DETR）的引领下，近期研究通过一组可学习查询替代传统区域提议，取得了显著改进。然而，尽管Transformer提供了强大的表示能力，现有的HOI检测方法在处理复杂交互时仍产生较低的置信度，并且容易忽略交互动作。为解决这些问题，我们提出了一种新颖的方法UAHOI——不确定性感知鲁棒人机交互学习——在训练过程中显式估计预测不确定性，以完善检测和交互预测。我们的模型不仅预测HOI三元组，还量化这些预测的不确定性。具体而言，我们通过预测的方差来建模这种不确定性，并将其融入优化目标，使模型能够根据预测方差自适应地调整置信度阈值。这种集成有助于减轻传统方法中常见的不正确或模糊预测的不利影响，且无需任何手工设计的组件，作为自动置信度阈值。我们的方法对现有HOI检测方法具有灵活性，并展示了精度的提升。我们在两个该领域的标准基准上评估了UAHOI：V-COCO和HICO-DET，它们代表了HOI检测中的挑战性场景。通过大量实验，我们证明UAHOI在现有最先进方法上取得了显著提升，同时增强了HOI检测的准确性和鲁棒性。