GraphAvatar: 利用GNN生成的3D高斯实现紧凑头部头像
计算机视觉与模式识别
2024-12-19 v1
摘要
从任意视角渲染逼真的头部头像对于虚拟现实等各种应用至关重要。尽管基于神经辐射场(NeRF)的先前方法可以取得令人印象深刻的结果，但它们缺乏保真度和效率。最近使用3D高斯溅射(3DGS)的方法提高了渲染质量和实时性能，但仍需要大量存储开销。在本文中，我们介绍了一种名为GraphAvatar的方法，该方法利用图神经网络(GNN)为头部头像生成3D高斯。具体来说，GraphAvatar训练一个几何GNN和一个外观GNN，从跟踪网格生成3D高斯的属性。因此，我们的方法可以存储GNN模型而不是3D高斯，从而将存储开销显著降低到仅10MB。为了减少面部跟踪误差的影响，我们还提出了一种新颖的图引导优化模块，用于在训练期间细化面部跟踪参数。最后，我们引入了一个3D感知增强器用于后处理，以提高渲染质量。我们进行了全面的实验来展示GraphAvatar的优势，在视觉保真度和存储消耗方面超越了现有方法。消融研究揭示了渲染质量和模型大小之间的权衡。代码将在https://github.com/ucwxb/GraphAvatar发布。
引用
@article{arxiv.2412.13983,
title = {GraphAvatar: Compact Head Avatars with GNN-Generated 3D Gaussians},
author = {Xiaobao Wei and Peng Chen and Ming Lu and Hui Chen and Feng Tian},
journal= {arXiv preprint arXiv:2412.13983},
year = {2024}
}
备注
accepted by AAAI2025