基于堆叠去噪自编码器并利用特权信息约束的骨架动作识别
计算机视觉与模式识别
2020-03-13 v1
摘要
近来，随着高性价比深度相机与实时骨架估计的可用，基于骨架的人体动作识别兴趣得以复兴。现有多数骨架表示方法使用关节位置或动力学模型。不同于以往研究，我们提出一种称为带时间与类别约束的去噪自编码器(DAE_CTC)的新方法，从骨架重构视角研究骨架表示。基于特权信息下学习的概念，我们在训练阶段将动作类别与时间坐标整合进堆叠去噪自编码器，以在从骨架学习隐表示时保留类别与时间特征。从而我们得以提升隐表示的判别有效性。为缓解临时错位引起的变异，提出一种称为局部扭曲序列配准(LWSR)的新时间配准方法，用于配准类间与类内动作序列。我们最终使用傅里叶时间金字塔(FTP)表示序列，并采用LWSR配准、FTP表示与线性支持向量机(SVM)组合进行分类。在MSR-Action3D、UTKinect-Action与Florence3D-Action三个动作数据集上的实验结果表明，我们的方案优于许多现有方法且与当前最优(state of the art)相当。
引用
@article{arxiv.2003.05684,
title = {Skeleton Based Action Recognition using a Stacked Denoising Autoencoder with Constraints of Privileged Information},
author = {Zhize Wu and Thomas Weise and Le Zou and Fei Sun and Ming Tan},
journal= {arXiv preprint arXiv:2003.05684},
year = {2020}
}