基于骨架云着色的自监督三维动作表示学习

基于三维骨架的人体动作识别近年来吸引了越来越多的关注。现有工作大多聚焦于有监督学习，其需要大量标注动作序列，而标注往往昂贵且耗时。本文中，我们处理用于基于骨架动作识别的自监督三维动作表示学习问题。我们研究自监督表示学习，并设计了一种新颖的骨架云着色技术，能够从无标注骨架序列数据中学习空间与时间骨架表示。我们将骨架动作序列表示为三维骨架云，并根据各点在原始（未标注）骨架序列中的时间与空间顺序对其着色。利用着色后的骨架点云，我们设计了一个自动编码器框架，能够有效从骨架关节的人工颜色标签中学习时空特征。具体而言，我们设计了一个双流预训练网络，利用细粒度与粗粒度着色来学习多尺度时空特征。此外，我们设计了一个掩码骨架云重绘任务，可预训练所设计的自动编码器框架以学习信息丰富的表示。我们在不同配置下训练线性分类器来评估我们的骨架云着色方法，包括无监督、半监督、全监督以及迁移学习设定。在NTU RGB+D、NTU RGB+D 120、PKU-MMD、NW-UCLA和UWA3D数据集上的大量实验表明，所提方法大幅优于现有无监督与半监督三维动作识别方法，并在有监督三维动作识别中取得了具竞争力的性能。