用于三维人体重建的高效神经隐式表示
计算机视觉与模式识别
2024-10-24 v1
摘要
高保真数字人体表示在数字世界中的需求日益增长，特别是在交互式远程呈现、增强现实/虚拟现实(AR/VR)、三维图形以及快速发展的元宇宙中。尽管传统方法在狭小空间内效果良好，但重建三维人体运动通常需要使用昂贵的硬件并具有高昂的处理成本。本研究提出了HumanAvatar，一种从单目视频源高效重建精确人体化身的新方法。我们方法的核心是集成了预训练的HuMoR，这是一个以其在人体运动估计方面的熟练程度而闻名的模型。我们将其与尖端的神经辐射场技术Instant-NGP以及最先进的关节模型Fast-SNARF巧妙地融合，以提高重建保真度和速度。通过结合这两种技术，我们创建了一个能够快速有效渲染，同时提供无与伦比精度的人体姿态参数估计的系统。我们通过一种先进的姿态敏感空间缩减技术增强了我们的系统，该技术优化了渲染质量与计算效率之间的平衡。在使用人工和真实世界单目视频的详细实验分析中，我们确立了方法的先进性能。HumanAvatar在质量上始终达到或超越当代领先的重建技术。此外，它能在几分钟内完成这些复杂的重建，这仅是现有方法通常所需时间的一小部分。我们的模型训练速度比基于NeRF的最先进(SoTA)模型快110倍。如果给定相同的运行时间限制，我们的技术表现明显优于SoTA动态人体NeRF方法。HumanAvatar在仅训练30秒后就能提供有效的视觉效果。
引用
@article{arxiv.2410.17741,
title = {Efficient Neural Implicit Representation for 3D Human Reconstruction},
author = {Zexu Huang and Sarah Monazam Erfani and Siying Lu and Mingming Gong},
journal= {arXiv preprint arXiv:2410.17741},
year = {2024}
}