基于视图合成的高保真单目3D人体数字化:FAMOUS
计算机视觉与模式识别
2024-10-15 v1
摘要
深度隐式建模和具 articulation 模型的发展显著增强了从单张图像中对人体进行3D数字化的过程。虽然最先进的方法在几何精度方面取得了很大改进，但在准确推断纹理方面仍面临挑战，尤其是正面视图图像中被遮挡区域（如人的背部）。这种纹理预测的局限性主要源于缺乏大规模且多样化的3D数据集，而其2D对手应存在且易于获取。为此，我们提出利用广泛的2D时尚数据集来增强3D人体数字化中的纹理和形状预测。我们整合来自时尚数据集的2D先验知识，以学习被遮挡的背部视图，并通过我们提出的领域对齐策略进行精细调整。随后，我们将此信息与输入图像融合，以获得给定人员的完整纹理网格。通过在标准3D人体基准测试上的大量实验，我们证明了我们方法在纹理和几何方面的优越性能。代码和数据集可在 https://github.com/humansensinglab/FAMOUS 获取。
引用
@article{arxiv.2410.09690,
title = {FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis},
author = {Vishnu Mani Hema and Shubhra Aich and Christian Haene and Jean-Charles Bazin and Fernando de la Torre},
journal= {arXiv preprint arXiv:2410.09690},
year = {2024}
}