MS-CLR：面向人体动作识别的多骨架对比学习
计算机视觉与模式识别
2025-08-21 v1
摘要
对比学习因其从未标记数据中学习鲁棒表示的能力，在基于骨架的动作识别中获得了显著关注。然而，现有方法依赖于单一的骨架约定，这限制了它们在具有不同关节结构和解剖覆盖范围的数据集上的泛化能力。我们提出了多骨架对比学习 (Multi-Skeleton Contrastive Learning, MS-CLR)，这是一个通用的自监督框架，用于对齐从同一序列中提取的多种骨架约定下的姿态表示。这促使模型学习结构不变性并捕捉多样的解剖线索，从而产生更具表达力和泛化能力的特征。为此，我们通过一个统一的表示方案，调整了 ST-GCN 架构以处理具有不同关节布局和尺度的骨架。在 NTU RGB+D 60 和 120 数据集上的实验表明，MS-CLR 相较于强大的单骨架对比学习基线，持续提升了性能。多骨架集成进一步提升了性能，在两个数据集上均取得了新的最优结果。
引用
@article{arxiv.2508.14889,
title = {MS-CLR: Multi-Skeleton Contrastive Learning for Human Action Recognition},
author = {Mert Kiray and Alvaro Ritter and Nassir Navab and Benjamin Busam},
journal= {arXiv preprint arXiv:2508.14889},
year = {2025}
}