DenseRaC:基于稠密渲染比对联合估计三维姿态与形体
计算机视觉与模式识别
2019-10-10 v2 机器学习
图像与视频处理
摘要
我们提出DenseRaC,一种从单目RGB图像联合估计三维人体姿态与形体的新型端到端框架。我们的两步框架以身体像素到表面对应图(即IUV图)作为代理表示,然后执行参数化人体姿态与形体的估计。具体而言,给定估计的IUV图,我们开发了一个深度神经网络来优化三维身体重建损失,并进一步集成渲染比对方案以最小化输入与渲染输出之间的差异,即稠密身体关键点、身体部位掩码和对抗先验。为促进学习,我们进一步利用网络爬取的Mocap序列、三维扫描与动画构建了一个大规模合成数据集(MOCA)。所生成的数据涵盖多样化的相机视角、人体动作和形体,并配有完整真值。我们的模型联合从混合数据集学习表示三维人体,缓解了非配对训练数据的问题。我们的实验表明,DenseRaC在各种人体相关任务的公开基准上相对于当前最优方法取得了更优性能。
引用
@article{arxiv.1910.00116,
title = {DenseRaC: Joint 3D Pose and Shape Estimation by Dense Render-and-Compare},
author = {Yuanlu Xu and Song-Chun Zhu and Tony Tung},
journal= {arXiv preprint arXiv:1910.00116},
year = {2019}
}
备注
11 pages, 8 figures, International Conference on Computer Vision (ICCV) 2019, Oral Presentation