基于视角与姿态解耦的无监督 3D 人体姿态表示
计算机视觉与模式识别
2021-11-03 v2
摘要
学习良好的 3D 人体姿态表示对于人体姿态相关任务（例如人体 3D 姿态估计和动作识别）十分重要。在所有这些问题中，保留内在姿态信息和适应视角变化是两个关键问题。在本工作中，我们提出一种新颖的孪生去噪自编码器，以完全无监督的方式从人体骨骼数据中解耦出姿态相关与视角相关特征，从而学习 3D 姿态表示。这两个解耦特征共同作为 3D 姿态的表示。为同时考虑运动学与几何依赖关系，进一步提出一种序列双向递归网络 (SeBiReNet) 来建模人体骨骼数据。大量实验表明，所学表示 1) 保留了人体姿态的内在信息，2) 展现出跨数据集与跨任务的良好可迁移性。值得注意的是，我们的方法在两个本质不同的任务上取得了 state-of-the-art 性能：姿态去噪与无监督动作识别。代码与模型可在：\url{https://github.com/NIEQiang001/unsupervised-human-pose.git} 获取。
引用
@article{arxiv.2007.07053,
title = {Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement},
author = {Qiang Nie and Ziwei Liu and Yunhui Liu},
journal= {arXiv preprint arXiv:2007.07053},
year = {2021}
}
备注
To appear in ECCV 2020. Code and models are available at: https://github.com/NIEQiang001/unsupervised-human-pose.git