MeshPose: 统一 DensePose 与 3D 身体网格重建
计算机视觉与模式识别
2024-06-17 v1
摘要
DensePose 提供图像与 3D 网格坐标之间的像素级关联，但不提供 3D 网格；而 Human Mesh Reconstruction（HMR）系统在 DensePose 定位指标下测量的 2D 重投影误差较高。在本工作中，我们引入 MeshPose 来同时解决 DensePose 和 HMR。首先，我们引入新的损失函数，使我们能够使用弱 DensePose 监督信息在 2D 精确定位网格顶点子集（'VertexPose'）。随后我们将这些顶点提升到 3D，得到低多边形身体网格（'MeshPose'）。我们的系统以端到端方式进行训练，是首个在 DensePose 精度方面达到竞争水平的 HMR 方法，同时保持轻量级且适合高效推断，适用于实时 AR 应用。
引用
@article{arxiv.2406.10180,
title = {MeshPose: Unifying DensePose and 3D Body Mesh reconstruction},
author = {Eric-Tuan Lê and Antonis Kakolyris and Petros Koutras and Himmy Tam and Efstratios Skordos and George Papandreou and Rıza Alp Güler and Iasonas Kokkinos},
journal= {arXiv preprint arXiv:2406.10180},
year = {2024}
}
备注
IEEE Conference on Computer Vision and Pattern Recognition (CVPR)