UV Gaussians：联合学习网格变形与高斯纹理的人体化身建模
计算机视觉与模式识别
2024-03-19 v1
摘要
从多视角图像序列重建照片级真实、可驱动的人体化身一直是计算机视觉与图形学领域热门且富有挑战性的课题。现有基于 NeRF 的方法虽能实现人体模型的高质量新视角渲染，但训练和推理过程均耗时较长。近期方法利用 3D Gaussians 表示人体，实现了更快的训练和渲染。然而，它们低估了网格引导的重要性，仅以粗略网格引导直接在三维空间预测 Gaussians，这阻碍了 Gaussians 的学习过程，并倾向于产生模糊纹理。为此，我们提出 UV Gaussians，通过联合学习网格变形和二维 UV 空间高斯纹理来建模三维人体。我们利用 UV 映射的嵌入在二维空间学习高斯纹理，借助强大的二维网络提取特征。同时，通过一个独立的网格网络，我们优化依赖姿态的几何变形，从而引导高斯渲染并显著提升渲染质量。我们收集并处理了一个新的人体运动数据集，包含多视角图像、扫描模型、参数化模型配准及相应纹理映射。实验结果表明，我们的方法在新视角和新姿态合成上达到了当前最优水平。论文被接收后，代码和数据将在主页 https://alex-jyj.github.io/UV-Gaussians/ 公开。
引用
@article{arxiv.2403.11589,
title = {UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling},
author = {Yujiao Jiang and Qingmin Liao and Xiaoyu Li and Li Ma and Qi Zhang and Chaopeng Zhang and Zongqing Lu and Ying Shan},
journal= {arXiv preprint arXiv:2403.11589},
year = {2024}
}