HiLo：利用参数模型的高频和低频信息进行详细且稳健的 3D 穿衣人体重建
计算机视觉与模式识别
2024-04-22 v2
摘要
重建 3D 穿衣人体涉及创建穿着衣物个体的详细几何结构，应用范围涵盖虚拟试穿、电影到游戏。为了实现广泛且实用的应用，最近的进展提出从 RGB 图像生成穿衣人体。然而，它们难以同时重建详细且稳健的虚拟化身。我们通过经验发现，来自参数模型的高频（HF）和低频（LF）信息分别有潜力增强几何细节并提高对噪声的稳健性。基于此，我们提出了 HiLo，即利用高频和低频信息的穿衣人体重建，它包含两个组件。1) 为了利用 HF 信息恢复详细的几何结构，我们提出了一种渐进式 HF 符号距离函数，以增强穿衣人体的详细 3D 几何结构。我们分析表明，我们的渐进式学习方式缓解了阻碍模型收敛的大梯度问题。2) 为了通过利用 LF 信息实现对参数模型不准确估计的稳健重建，我们提出了一种空间交互隐函数。该函数有效地利用了来自参数模型低分辨率体素网格的互补空间信息。实验结果表明，在 Thuman2.0 和 CAPE 数据集上，HiLo 在 Chamfer 距离方面分别比现有最先进的方法高出 10.43% 和 9.54%。此外，HiLo 展示了对来自参数模型的噪声、挑战性姿势和各种服装风格的稳健性。
引用
@article{arxiv.2404.04876,
title = {HiLo: Detailed and Robust 3D Clothed Human Reconstruction with High-and Low-Frequency Information of Parametric Models},
author = {Yifan Yang and Dong Liu and Shuhai Zhang and Zeshuai Deng and Zixiong Huang and Mingkui Tan},
journal= {arXiv preprint arXiv:2404.04876},
year = {2024}
}
备注
CVPR 2024 Accepted Paper