PREDICT & CLUSTER：基于骨架的无监督动作识别

我们提出了一种新颖的基于骨架的无监督动作识别系统。给定各种运动过程中获得的身体关键点序列输入，我们的系统将序列与动作相关联。我们的系统基于编码器-解码器循环神经网络，其中编码器通过训练模型执行预测任务，在其隐藏状态中学习可分离的特征表示。我们表明，根据这种无监督训练，解码器和编码器将其隐藏状态自组织为一个特征空间，该空间将相似运动聚为同一簇、将不同运动聚为相距较远的簇。当前最优的动作识别方法为强监督式，即依赖提供标签进行训练。已有无监督方法被提出，但它们在每个时间步都需要相机和深度输入（RGB+D）。相比之下，我们的系统完全无监督，在任何阶段都不需要动作标签，并且仅以身体关键点作为输入即可运行。此外，该方法可处理不同维度的身体关键点（2D 或 3D）并可包含描述运动的额外线索。我们在三个具有不同动作数量和样本量的广泛动作识别基准上评估了我们的系统。我们的结果优于先前的基于骨架的无监督方法、跨视角测试中的无监督 RGB+D 方法，并且在无监督的情况下与有监督的基于骨架的动作识别性能相当。