用于无监督三维人体姿态估计的运动学结构保持表示
计算机视觉与模式识别
2020-06-26 v1
摘要
从单目图像估计三维人体姿态作为若干以人为中心应用的关键步骤已受到相当关注。然而，利用大规模室内数据集上的监督所开发的人体姿态估计模型的泛化能力仍存疑，因为这些模型在未见过的真实环境上常表现不佳。尽管已有弱监督模型被提出以解决此缺陷，此类模型的性能依赖于某些相关任务（如二维姿态或多视角图像对）上成对监督的可用性。相反，我们提出一种新颖的运动学结构保持无监督三维姿态估计框架，其不受任何成对或非成对弱监督的限制。我们的姿态估计框架依赖于定义底层运动学三维结构的最小先验知识集，例如具有固定规范尺度下骨长比例的骨骼关节连接信息。所提模型采用名为正向运动学、相机投影与空间图变换的三个连续可微变换。该设计不仅充当刺激有效姿态解耦的合适瓶颈，还产生可解释的潜在姿态表示，避免了训练显式潜在嵌入到姿态的映射器。此外，在无不稳定对抗式设置的情况下，我们重新利用解码器形式化基于能量的损失，使我们能从真实环境视频中学习，超越实验室设定。综合实验证明了我们在Human3.6M与MPI-INF-3DHP数据集上最先进的无人监督与弱监督姿态估计性能。在未见环境中的定性结果进一步确立了我们优越的泛化能力。
引用
@article{arxiv.2006.14107,
title = {Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation},
author = {Jogendra Nath Kundu and Siddharth Seth and Rahul M and Mugalodi Rakesh and R. Venkatesh Babu and Anirban Chakraborty},
journal= {arXiv preprint arXiv:2006.14107},
year = {2020}
}
备注
AAAI 2020 (Oral)