利用域适应的三维身体概念将二维人体姿态提升为三维

将二维人体姿态提升为三维姿态是一项重要且具有挑战性的任务。现有的三维姿态估计受限于：1）二维与三维数据间固有的歧义性，以及 2）真实场景中缺乏良好标注的二维-三维姿态对。人类能够以极小的歧义从二维图像或一组二维身体关键点想象出人体三维姿态，这应归因于我们在脑海中已习得的人体先验知识。受此启发，我们提出一种新框架，利用标注的三维人体姿态学习人体的三维概念，从而减小歧义。为使二维姿态与身体概念达成一致，我们的核心见解是将二维人体姿态与三维人体姿态视为两个不同的域。通过适配这两个域，从三维姿态习得的身体知识被应用于二维姿态，并引导二维姿态编码器生成信息丰富的三维“想象”作为姿态提升中的嵌入。得益于域适应的视角，所提框架在有监督与半监督三维姿态估计间建立了一个原则性的统一框架。大量实验表明，该方法在标准基准上可达到最先进的性能。更重要的是，经验证显式学习的三维身体概念有效缓解了二维姿态提升中的二维-三维歧义，提升了泛化能力，并使网络能够利用丰富的无标注二维数据。