基于预训练深度骨架特征与提示引导的零样本异常动作识别

本研究探讨无监督异常动作识别，即以无监督方式在无异常样本的情况下识别视频级异常人体行为事件，并同时解决传统基于骨架方法的三个局限：目标域相关的 DNN 训练、对骨架误差的鲁棒性，以及正常样本的缺乏。我们提出一个统一的、用户提示引导的零样本学习框架，使用在大规模动作识别数据集上预训练的目标域无关骨架特征提取器。特别地，在使用正常样本的训练阶段，该方法在冻结 DNN 权重的同时对正常动作的骨架特征分布建模，并在推理阶段利用该分布估计异常分数。此外，为提升对骨架误差的鲁棒性，我们引入受点云深度学习范式启发的 DNN 架构，其在关节间稀疏传播特征。进一步地，为防止未观测到的正常动作被误判为异常动作，我们将用户提示嵌入与在公共空间中对齐的骨架特征之间的相似度分数纳入异常分数，从而间接补充正常动作。我们在两个公开数据集上开展实验，以针对上述局限验证所提方法的有效性。