用于无监督三维动作表示学习的骨架云着色
计算机视觉与模式识别
2021-08-10 v3
摘要
基于骨架的人体动作识别近年来受到越来越多的关注。然而,现有工作大多聚焦于有监督学习,需要大量标注动作序列,而标注数据往往采集代价高昂。我们研究骨架动作识别的无监督表示学习,并设计了一种新颖的骨架云着色技术,能够从无标注骨架序列数据中学习骨架表示。具体而言,我们将骨架动作序列表示为三维骨架云,并根据各点在原始(无标注)骨架序列中的时间和空间顺序对云中每一点着色。利用着色后的骨架点云,我们设计了一个自编码器框架,能够有效从骨架关节的人工颜色标签中学习时空特征。我们在不同配置下训练的动作分类器中评估我们的骨架云着色方法,包括无监督、半监督以及全监督设定。在 NTU RGB+D 和 NW-UCLA 数据集上的大量实验表明,所提方法大幅优于现有的无监督和半监督三维动作识别方法,并且在有监督三维动作识别中也取得了具有竞争力的性能。
引用
@article{arxiv.2108.01959,
title = {Skeleton Cloud Colorization for Unsupervised 3D Action Representation Learning},
author = {Siyuan Yang and Jun Liu and Shijian Lu and Meng Hwa Er and Alex C. Kot},
journal= {arXiv preprint arXiv:2108.01959},
year = {2021}
}
备注
This paper is accepted by ICCV2021