GVA：从单目视频重建生动的 3D 高斯化身
计算机视觉与模式识别
2024-03-20 v2
摘要
本文提出了一种新方法 (GVA)，旨在从单目视频输入中创建生动的 3D 高斯化身。我们的创新在于解决了实现高保真人体重建以及将 3D 高斯点精确对齐到人体皮肤表面的复杂挑战。本文的主要贡献有两点：首先，我们引入了一种姿态细化技术，通过对齐法线图和轮廓来提高手部和足部姿态的准确性，精确的姿态对于正确的形状和外观重建至关重要；其次，针对以往降低 3D 高斯化身质量的不平衡聚合和初始化偏差问题，我们提出了一种新颖的表面引导重初始化方法，确保 3D 高斯点与化身表面的精确对齐。实验结果表明，所提方法实现了高保真且生动的 3D 高斯化身重建。广泛的实验分析在定性和定量上验证了其性能，表明该方法在照片级真实感的新视角合成方面达到了最先进水平 (SOTA)，同时提供了对人体和手部姿态的细粒度控制。项目页面：https://3d-aigc.github.io/GVA/。
引用
@article{arxiv.2402.16607,
title = {GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos},
author = {Xinqi Liu and Chenming Wu and Jialun Liu and Xing Liu and Jinbo Wu and Chen Zhao and Haocheng Feng and Errui Ding and Jingdong Wang},
journal= {arXiv preprint arXiv:2402.16607},
year = {2024}
}