面向基于骨架的动作识别的开放集场景导航
计算机视觉与模式识别
2023-12-12 v1 人工智能
机器人学
图像与视频处理
摘要
在现实场景中，人类动作常常超出训练数据的分布范围，因此模型识别已知动作并拒绝未知动作的能力至关重要。然而，在此类开放集条件下使用纯骨架数据面临挑战，原因在于缺乏视觉背景线索以及身体姿态序列独特的稀疏结构。本文针对尚未被探索的开放集骨架动作识别（OS-SAR）任务，并在三个基于骨架的数据集上形式化地建立了基准。我们评估了七种已有的开放集方法在该任务上的表现，并识别出它们在处理骨架信息时的局限性和关键的泛化问题。为应对这些挑战，我们提出了一种基于距离的跨模态集成方法，该方法利用骨架关节点、骨骼和速度的跨模态对齐来实现优越的开放集识别性能。我们将这一核心思想称为 CrossMax——该方法在训练阶段利用一种新颖的跨模态均值最大差异抑制机制来对齐潜在空间，并在测试阶段采用基于跨模态距离的 logits 精化方法。CrossMax 在所有数据集和骨干网络上均超越了现有方法，并持续取得最先进的结果。基准、代码和模型将在 https://github.com/KPeng9510/OS-SAR 发布。
引用
@article{arxiv.2312.06330,
title = {Navigating Open Set Scenarios for Skeleton-based Action Recognition},
author = {Kunyu Peng and Cheng Yin and Junwei Zheng and Ruiping Liu and David Schneider and Jiaming Zhang and Kailun Yang and M. Saquib Sarfraz and Rainer Stiefelhagen and Alina Roitberg},
journal= {arXiv preprint arXiv:2312.06330},
year = {2023}
}
备注
Accepted to AAAI 2024. The benchmark, code, and models will be released at https://github.com/KPeng9510/OS-SAR