HDHumans：一种用于高保真数字人的混合方法
计算机视觉与模式识别
2023-07-20 v2
摘要
照片级真实数字人化身在图形学中极为重要，因其可实现全球沉浸式通信、改善游戏与娱乐体验，并对 AR 和 VR 场景尤为有益。然而，当前的化身生成方法或在高保真新视角合成、对新运动的泛化、宽松衣物的重现方面存在不足，或无法以现代显示器所提供的高分辨率渲染角色。为此，我们提出 HDHumans，这是首个用于高清人物合成的方法，可联合生成准确且时间一致的 3D 形变表面，以及任意新视角和训练时未见过运动的高度照片级真实图像。在技术核心上，我们的方法将经典形变角色模板与神经辐射场（NeRF）紧密集成。我们的方法经过精心设计，以实现经典表面形变与 NeRF 之间的协同。首先，模板引导 NeRF，从而能够合成高度动态且有关节角色的的新视角，甚至支持新运动的合成。其次，我们也利用 NeRF 生成的稠密点云，通过 3D 到 3D 监督进一步改进形变表面。我们在合成质量与分辨率以及 3D 表面重建质量上定量与定性地超越了现有最优方法。
引用
@article{arxiv.2210.12003,
title = {HDHumans: A Hybrid Approach for High-fidelity Digital Humans},
author = {Marc Habermann and Lingjie Liu and Weipeng Xu and Gerard Pons-Moll and Michael Zollhoefer and Christian Theobalt},
journal= {arXiv preprint arXiv:2210.12003},
year = {2023}
}