探索遮挡环境下基于骨架的自监督动作识别
计算机视觉与模式识别
2025-04-17 v3 多媒体
机器人学
图像与视频处理
摘要
为了将动作识别集成到自主机器人系统中，必须解决人员遮挡等挑战——这是现有基于骨架的自监督动作识别方法中常见却常被忽视的场景。在本工作中，我们提出 IosPSTL，一种简单有效的自监督学习框架，旨在处理遮挡问题。IosPSTL 将簇无关的 KNN 插补器与遮挡局部时空学习（OPSTL）策略相结合。首先，我们在遮挡骨架序列上预训练模型。然后，我们引入簇无关的 KNN 插补器，该插补器利用 k-means 聚类对序列嵌入进行语义分组。它通过在潜空间应用 K 近邻（K-Nearest Neighbors）来插补缺失的骨架数据，借助邻近样本表征恢复被遮挡的关节。这种插补生成更完整的骨架序列，显著有益于下游自监督模型。为了进一步增强学习，OPSTL 模块引入自适应空间掩码（ASM），以在训练期间更好地利用完整、高质量的骨架序列。我们的方法在 NTU-60 和 NTU-120 数据集的遮挡版本上取得了最先进的性能，证明了其在挑战性条件下的鲁棒性与有效性。代码见 https://github.com/cyfml/OPSTL。
引用
@article{arxiv.2309.12029,
title = {Exploring Self-supervised Skeleton-based Action Recognition in Occluded Environments},
author = {Yifei Chen and Kunyu Peng and Alina Roitberg and David Schneider and Jiaming Zhang and Junwei Zheng and Yufan Chen and Ruiping Liu and Kailun Yang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2309.12029},
year = {2025}
}
备注
Accepted to IJCNN 2025. Code is available at https://github.com/cyfml/OPSTL