点监督骨架基准人类动作分割
计算机视觉与模式识别
2026-03-09 v1
摘要
骨架基准时序动作分割是一项基础且具有挑战性的任务，对于使智能系统能够感知和响应人类活动具有关键作用。虽然全监督方法取得了满意的性能，但需要昂贵的帧级标注，且对模糊的动作边界敏感。为此，我们引入一种基于点监督的骨架动作分割框架，其中仅对每个动作段标注单个帧。我们利用多模态骨架数据，包括关节、骨骼和运动信息，通过预训练的统一模型对其进行编码以提取丰富的特征表示。为生成可靠的伪标签，我们提出一种新颖的原型相似性方法，并将其与两种现有方法（能量函数和受约束K-Medoids聚类）集成。提出多模态伪标签集成以增强伪标签的可靠性并指导模型训练。我们在PKU-MMD（X-Sub和X-View）、MCFS-22和MCFS-130上建立了新的基准，并为点监督骨架人类动作分割实现了基线。广泛实验表明，我们的方法在性能上与当前方法持水平，甚至在某些方面超过了全监督方法，同时显著减少了标注工作量。
引用
@article{arxiv.2603.06201,
title = {Point-Supervised Skeleton-Based Human Action Segmentation},
author = {Hongsong Wang and Yiqin Shen and Pengbo Yan and Jie Gui},
journal= {arXiv preprint arXiv:2603.06201},
year = {2026}
}