基于 3D 高斯 GAN 生成可编辑的头部头像
计算机视觉与模式识别
2024-12-30 v1
摘要
生成可动画和可编辑的 3D 头部头像对于计算机视觉和图形学中的各种应用至关重要。传统的 3D-aware 生成对抗网络（GAN），通常使用类似神经辐射场（NeRF）的隐式场，实现了高保真且视觉一致的 3D 头部合成。然而，这些方法在变形灵活性和可编辑性方面存在局限，阻碍了创建逼真且易于修改的 3D 头部。我们提出一种新方法，通过引入 3D 高斯溅写（3DGS）作为显式 3D 表示来增强 3D 头部头像的可编辑性和动画控制。该方法实现了更简单的光照控制和更好的可编辑性。我们方法的核心是可编辑的高斯头部（EG-Head）模型，它结合了 3D 形状可变模型（3DMM）和纹理图，实现了精确的表情控制和灵活的纹理编辑，以实现准确的动画同时保持身份特征。为了捕捉非面部复杂几何（如发型），我们使用一组辅助 3DGS 和三平面特征。广泛的实验表明，我们的方法能够提供高质量的 3D-aware 合成，实现了领先的可控性。我们的代码和模型可在 https://github.com/liguohao96/EGG3D 上获取。
引用
@article{arxiv.2412.19149,
title = {Generating Editable Head Avatars with 3D Gaussian GANs},
author = {Guohao Li and Hongyu Yang and Yifang Men and Di Huang and Weixin Li and Ruijie Yang and Yunhong Wang},
journal= {arXiv preprint arXiv:2412.19149},
year = {2024}
}