Ego4OOD：通过协变量偏移评分重新思考以人类自我为中心的视频领域泛化

在领域偏移下进行的以人类自我为中心的视频动作识别仍具有挑战性，原因在于大范围的类内时空变异性、长尾特征分布以及动作与环境之间的强相关性。现有以人类自我为中心的领域泛化基准常将协变量偏移与概念偏移混合，难以可靠评估模型在输入分布跨越的泛化能力。为此，我们引入Ego4OOD，这是一个源自Ego4D的领域泛化基准，强调可衡量的协变量多样性，同时通过语义连贯的时刻级动作类别降低概念偏移。Ego4OOD涵盖八个地理上distinct的领域，并配备基于聚类的协变量偏移指标，提供领域难度的定量代理。我们进一步利用一种基于一对其余( one-vs-all)的二进制训练目标，将多类动作识别分解为独立的二进制分类任务。这种表述特别适合协变量偏移，通过减少在特征分布偏移下视觉上相似类别之间的干扰。使用该表述，我们表明，一个轻量级的两层全连接网络在Argo1M和Ego4OOD两个数据集上，尽管参数更少且无需额外模态，便可达到与最先进的以人类自我为中心的领域泛化方法相当的性能。我们的实证分析显示，测量得到的协变量偏移与识别性能之间存在明确关系，凸显受控基准和量化域特征描述对于研究以人类自我为中心视频的类外分布泛化的重要性。