一种用于基于部件的三维人体表面重建的可嵌入隐式IUVD表示
计算机视觉与模式识别
2024-07-16 v2
摘要
要从单张图像重建三维人体表面，同时考虑人体姿态、形状和衣物细节至关重要。近期方法将捕捉身体姿态和形状先验的参数化身体模型（如SMPL）与灵活学习衣物细节的神经隐式函数相结合。然而，这种组合表示引入了额外的计算，例如在三维身体特征提取中进行有符号距离计算，导致隐式查询与推理过程冗余，并且无法保留底层的身体形状先验。为了解决这些问题，我们提出了一种新颖的IUVD-Feedback表示，它由一个IUVD占用函数和一个反馈查询算法组成。该表示利用SMPL UV映射，在IUVD空间中以简单的线性变换取代了耗时的有符号距离计算。此外，它通过反馈机制减少了冗余查询点，从而得到更合理的三维身体特征和更有效的查询点，进而保留了参数化身体先验。此外，IUVD-Feedback表示可以嵌入到任何现有的隐式人体重建流程中，而无需修改已训练的神经网络。在THuman2.0数据集上的实验表明，所提出的IUVD-Feedback表示提高了结果的鲁棒性，并在查询-推理过程中实现了三倍的加速。此外，通过利用参数化身体模型固有的语义信息，该表示在生成应用方面具有潜力。
引用
@article{arxiv.2401.16810,
title = {An Embeddable Implicit IUVD Representation for Part-based 3D Human Surface Reconstruction},
author = {Baoxing Li and Yong Deng and Yehui Yang and Xu Zhao},
journal= {arXiv preprint arXiv:2401.16810},
year = {2024}
}