高斯像素编解码器头像：一种高效渲染的混合表示

我们提出了高斯像素编解码器头像（Gaussian Pixel Codec Avatars, GPiCA），这是一种可从多视图图像生成的逼真头部头像，能够在移动设备上高效渲染。GPiCA利用独特的混合表示，将三角网格和各向异性3D高斯联合起来。这种组合在保持逼真外观的同时，最大化了内存和渲染效率。三角网格在表示面部皮肤等表面区域时非常高效，而3D高斯则有效处理头发、胡须等非表面区域。为此，我们开发了统一的可微渲染管道，将网格作为体积渲染范式中半透明层来处理。我们训练神经网络，将面部表情代码解码为三个组件：3D面部网格、RGBA纹理以及一组3D高斯。这些组件在统一渲染引擎中同时渲染。网络使用多视图图像监督进行训练。我们的结果表明，GPiCA实现了纯粹基于高斯的头像逼真度，同时匹配基于网格的头像的渲染性能。