基于不确定性引导的外观-运动关联网络用于非分布式动作检测

非分布式（OOD）检测旨在检测并拒绝具有语义偏移的测试样本，以防止在分布式数据集上训练的模型产生不可靠的预测。现有工作仅从图像数据集中提取外观特征，无法处理包含大量运动信息的动态多媒体场景。因此，我们聚焦于更真实且更具挑战性的OOD检测任务：非分布式动作检测（ODAD）。给定未剪辑的视频，ODAD首先对分布式动作进行分类，识别非分布式动作，然后对分布式和非分布式动作进行定位。为此，本文提出一种 novel 方法——不确定性引导的外观-运动关联网络（Uncertainty-Guided Appearance-Motion Association Network, UAAN），通过同时探索外观特征和运动上下文，对空间时间内的物体间交互进行推理，从而实现ODAD。首先，我们设计独立的外观分支和运动分支以提取相应的外观导向和运动导向的物体表征。在每个分支中，我们构建空间时间图谱以推理外观引导和运动驱动的物体间交互。随后，我们设计一种外观-运动注意力模块来融合外观和运动特征，以实现最终的动作检测。实验结果表明，UAAN在两个具有挑战性的数据集上显著优于当前最先进的方法，凸显了其有效性。