网格回归：基于 RGB 视频的快速高效人体重建
计算机视觉与模式识别
2023-03-16 v1
摘要
从单目 RGB 视频进行人体重建与合成是一项具有挑战性的问题，原因在于衣物、遮挡、纹理不连续与锐利性，以及逐帧的姿态变化。许多方法采用延迟渲染、NeRF 与隐式方法来表示着衣人体，其前提假设是基于网格的表示仅凭 RGB、轮廓与关键点无法捕捉复杂衣物与纹理。我们对该基本前提给出相反观点：仅使用 RGB 图像、二值轮廓与稀疏 2D 关键点，优化 SMPL+D 网格与一种高效的多分辨率纹理表示。实验结果表明，相较于视觉外壳、基于网格的方法，我们的方法更能捕捉几何细节。我们展示了与基于 NeRF 的方法具有竞争力的新视角合成效果，并在新姿态合成上有所提升，而后者会引入明显的不良伪影。通过将解空间限制于 SMPL+D 模型并结合可微渲染，我们在计算量、训练时间（最高 24 倍）与推断时间（最高 192 倍）上获得显著加速。因此，我们的方法可直接使用，或作为基于 NeRF 方法的快速初始化。
引用
@article{arxiv.2303.08808,
title = {Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos},
author = {Rohit Jena and Pratik Chaudhari and James Gee and Ganesh Iyer and Siddharth Choudhary and Brandon M. Smith},
journal= {arXiv preprint arXiv:2303.08808},
year = {2023}
}