MeGA：混合网格-高斯头像用于高保真渲染与头部编辑
计算机视觉与模式识别
2026-02-20 v2
摘要
从多视图视频中创建高保真头像是许多AR/VR应用的核心问题。然而，现有方法通常难以同时获得各种头部组件（如皮肤与头发）的高质量渲染，因为它们使用单一表示来建模这些具有根本不同特征的组件。本文提出一种混合网格-高斯头像（MeGA）模型，为不同头部组件采用更合适的表示。具体而言，我们选取增强版FLAME网格作为面部表示，并预测UV位移图以提供每个顶点的偏移量，从而实现更个性化的几何细节。为实现照片级渲染，我们采用延迟神经渲染获取面部颜色，并将神经纹理解缝为三个有意义的部分。对于头发建模，首先使用3D高斯溅射构建静态标准化头发。随后应用刚性变换和基于MLP的变形场以处理复杂的动态表情。结合我们的遮挡感知混合技术，MeGA为整个头部生成更高保真的渲染，并自然支持更多下游任务。在NeRSemble数据集上的实验表明，我们的设计有效，超越了以往的最新方法，并支持各种编辑功能，包括发型改变和纹理编辑。
引用
@article{arxiv.2404.19026,
title = {MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing},
author = {Cong Wang and Di Kang and He-Yi Sun and Shen-Han Qian and Zi-Xuan Wang and Linchao Bao and Song-Hai Zhang},
journal= {arXiv preprint arXiv:2404.19026},
year = {2026}
}
备注
Accepted by CVPR 2025. Project page: https://conallwang.github.io/MeGA_Pages/