基于部件引导新图像合成的自监督三维人体姿态估计
计算机视觉与模式识别
2020-04-10 v1
摘要
相机所捕捉的人体姿态是若干变化源的产物。有监督三维姿态估计方法的性能以舍弃形状、外观等可能对解决其他相关任务有用的变化为代价。因此，所学模型不仅灌输了任务偏置，还因其对标注样本的严重依赖而具有数据集偏置，弱监督模型亦如此。鉴于此，我们提出一种自监督学习框架，从未标注视频帧中解耦此类变化。我们以单一基于部件的二维木偶模型、人体姿态关节约束以及一组未配对三维姿态的形式利用关于人体骨架与姿态的先验知识。我们弥合三维姿态与空间部件图之间表征差距的可微形式化，不仅有助于发现可解释的姿态解耦，还允许我们在具有多样相机运动的视频上运作。在未见野外数据集上的定性结果确立了我们在三维姿态估计与部件分割等主要任务之外多个任务上的优越泛化能力。此外，我们在 Human3.6M 与 MPI-INF-3DHP 数据集上展示了当前最优的弱监督三维姿态估计性能。
引用
@article{arxiv.2004.04400,
title = {Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis},
author = {Jogendra Nath Kundu and Siddharth Seth and Varun Jampani and Mugalodi Rakesh and R. Venkatesh Babu and Anirban Chakraborty},
journal= {arXiv preprint arXiv:2004.04400},
year = {2020}
}
备注
CVPR 2020 (Oral)