基于法向图的弱监督衣物人体三维重建
计算机视觉与模式识别
2023-11-28 v1
摘要
我们提出了一种基于深度学习、利用二维法向图弱监督进行衣物人体三维重建的新方法。给定单张 RGB 图像或多视角图像，我们的网络推断出一个在静止姿态下包围人体的四面体网格上离散化的有符号距离函数（SDF）。随后，利用推断出的姿态与相机参数从 SDF 生成法向图。我们方法的一个关键方面是使用 Marching Tetrahedra（行进四面体）来（唯一地）从四面体网格上的 SDF 计算三角化表面，从而便于直接微分（进而反向传播）。因此，仅给定真实法向图（无体积信息真值），我们便能训练网络从对应的 RGB 图像产生 SDF 值。可选地，额外的多视角损失可带来改进的结果。我们展示了该方法在网络推断与三维重建两方面的有效性。
引用
@article{arxiv.2311.16042,
title = {Weakly-Supervised 3D Reconstruction of Clothed Humans via Normal Maps},
author = {Jane Wu and Diego Thomas and Ronald Fedkiw},
journal= {arXiv preprint arXiv:2311.16042},
year = {2023}
}