MixedGaussianAvatar：通过混合 2D-3D 高斯分布实现真实且几何精确的头部 Avatar
计算机视觉与模式识别
2025-11-03 v3
摘要
重建高保真度 3D 头部 Avatar 对虚拟现实等各种应用至关重要。开创性方法使用神经辐射场（NeRF）重建真实感头部 Avatar，但受限于训练和渲染速度。基于 3D 高斯溅射（3DGS）的近期方法显著提高了训练和渲染效率。然而，3DGS 的表面对象不一致导致几何精度不足；随后，2DGS 使用 2D surfels 来增强几何精度，但牺牲了渲染保真度。为了同时利用 2DGS 和 3DGS 的优势，我们提出了一种名为 MixedGaussianAvatar 的新型方法，用于实现真实且几何精确的头部 Avatar 重建。我们的主要思想是利用 2D 高斯分布来重建 3D 头部的表面，确保几何精度。我们将 2D 高斯分布附着在 FLAME 模型的三角网格上，并在 2DGS 渲染质量不足的位置连接额外的 3D 高斯分布，从而创建混合 2D-3D 高斯表示。这些 2D-3D 高斯分布随后可以使用 FLAME 参数进行动画驱动。我们进一步引入了一种渐进训练策略，首先训练 2D 高斯分布，然后微调混合 2D-3D 高斯分布。我们使用统一的混合高斯表示来整合 2D 图像和 3D 网格这两种模态。此外，全面的实验证明了 MixedGaussianAvatar 的优越性。代码将公开发布。
引用
@article{arxiv.2412.04955,
title = {MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussians},
author = {Peng Chen and Xiaobao Wei and Qingpo Wuwu and Xinyi Wang and Xingyu Xiao and Ming Lu},
journal= {arXiv preprint arXiv:2412.04955},
year = {2025}
}