MultiGO：面向单目3D带纹理人类重建的多层几何学习
计算机视觉与模式识别
2024-12-05 v1
摘要
本文聚焦于从单目图像重建3D衣着人体的研究任务。鉴于单视图输入的内在歧义，现有方法依赖预训练的 SMPL(-X) 估计模型或生成模型提供辅助信息以完成人体重建。然而，这些方法仅捕获通用人体几何，忽略了具体几何细节，导致骨骼重建不准、关节位置错误以及衣物皱褶不清晰。针对上述问题，我们提出一种多层几何学习框架。技术上，我们设计了三个关键组件：骨骼层增强、关节层增强与皱褶层精细化模块。具体而言，我们将投影的3D傅里叶特征有效地融入高斯重建模型，引入扰动以提高训练期间关节深度估计的鲁棒性，并通过类似扩散模型去噪过程的方式细化人体粗糙皱褶。针对两个超出分布（out-of-distribution）测试集进行大量定量与定性实验表明，我们的方法在准确性上显著优于当前最先进（SOTA）方法。
引用
@article{arxiv.2412.03103,
title = {MultiGO: Towards Multi-level Geometry Learning for Monocular 3D Textured Human Reconstruction},
author = {Gangjian Zhang and Nanjie Yao and Shunsi Zhang and Hanfeng Zhao and Guoliang Pang and Jian Shu and Hao Wang},
journal= {arXiv preprint arXiv:2412.03103},
year = {2024}
}