SMPLR:用于三维人体姿态与形状恢复的深层 SMPL 逆模型
计算机视觉与模式识别
2019-08-09 v2
摘要
当前三维人体姿态与形状恢复的最优方法依赖于深度神经网络与统计可变形身体模型,如蒙皮多人线性模型(SMPL)。然而,尽管同时具备身体姿态与形状的优势,基于 SMPL 的方案在准确预测三维身体上表现出困难。这主要源于 SMPL 的无约束本质,其可能生成不真实的身体网格。因此,SMPL 参数的回归是一项困难任务,常以复杂正则项处理。本文中我们提出将 SMPL 嵌入深度模型,以从静态 RGB 图像准确估计三维姿态与形状。我们使用基于 CNN 的三维关节预测作为中间表示来回归 SMPL 姿态与形状参数。随后,三维关节在 SMPL 输出中再次重建。该模块可视为一个自编码器,其中编码器为深度神经网络,解码器为 SMPL 模型。我们称之为 SMPL 逆模型(SMPLR)。通过将 SMPLR 实现为编码器-解码器,我们避免了对姿态与形状复杂约束的需求。此外,鉴于野外数据集通常缺乏准确三维标注,期望将二维关节提升为三维而不将三维标注与 RGB 图像配对。因此,我们还在 CNN 与 SMPLR 之间提出一个去噪自编码器(DAE)模块,能够将二维关节提升为三维并部分从结构化误差中恢复。我们在 SURREAL 与 Human3.6M 数据集上评估了方法,分别显示出比基于 SMPL 的最优替代方案改进约 4 与 25 毫米。
引用
@article{arxiv.1812.10766,
title = {SMPLR: Deep SMPL reverse for 3D human pose and shape recovery},
author = {Meysam Madadi and Hugo Bertiche and Sergio Escalera},
journal= {arXiv preprint arXiv:1812.10766},
year = {2019}
}