无监督的视角不变人体姿态表示

大多数近期的视角不变动作识别与表现评估方法依赖大量标注的 3D 骨架数据来提取视角不变特征。然而，在真实场景中，获取 3D 骨架数据即便并非不可行也往往十分繁琐。为克服该问题，我们提出一种新颖的无监督方法，可从 2D 图像中学习提取视角不变的 3D 人体姿态表示，而无需使用 3D 关节数据。我们的模型通过利用来自不同视点的同时帧之间人体姿态固有的视角不变属性，以及来自同一视点的增强帧之间的等变属性进行训练。我们针对两项下游任务评估所学得的视角不变姿态表示。对比实验表明，在 NTU RGB+D 数据集上，无论 RGB 还是深度图像，无监督跨视角动作分类准确率均显著优于最先进水平。我们还展示了将 NTU RGB+D 上学得的表示迁移至多视角人体运动质量数据集 QMAR 的有效性，获得了首个无监督跨视角与跨被试秩相关结果，并以微小优势改进了该数据集上最先进的监督结果。我们还进行了消融实验以检验所提网络各组成部分的贡献。