Deep3DPose：从单张RGB图像实时重建任意姿态人体
计算机视觉与模式识别
2021-06-23 v1
摘要
我们提出一种从单张图像实时精确重建3D人体姿态与精细3D全身几何模型的方法。该方法的核心思想是一个新颖的端到端多任务深度学习框架，利用单张图像同时预测五种输出：前景分割掩码、2D关节位置、语义身体分区、3D部位朝向与uv坐标(uv图)。该多任务网络架构不仅生成更多用于重建的视觉线索，还使各项独立预测更为准确。CNN回归器进一步与基于优化的算法结合，以实现精确的运动学姿态重建与全身形状建模。我们表明该实时重建达到了前所未有的准确拟合，尤其对于野外部图像。我们在多种具挑战性的自然场景视频上展示了实时3D姿态与人体重建系统的结果。通过定量评估及与最先进方法的比较，我们展示了该系统推进了从单张图像进行3D人体与姿态重建的前沿。
引用
@article{arxiv.2106.11536,
title = {Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies from Single RGB Images},
author = {Liguo Jiang and Miaopeng Li and Jianjie Zhang and Congyi Wang and Juntao Ye and Xinguo Liu and Jinxiang Chai},
journal= {arXiv preprint arXiv:2106.11536},
year = {2021}
}