人类头部的高斯特征模型

当前个性化神经头头像面临一个权衡：轻量级模型缺乏细节和真实感，而高质量、可动画的头像需要大量计算资源，不适用于商品级设备。为此，我们引入高斯特征模型 (GEM)，提供高质量、轻量级且易于控制的头像。GEM 使用 3D 高斯原始素材进行外观表示，结合高斯溶射进行渲染。基于网格式 3D 形状可变面部模型 (3DMM) 的成功经验，我们将 GEM 定义为用于表示特定主体头部外观的线性特征基的集合。具体而言，我们构建线性基来表示 3D 高斯的位置、比例、旋转和不透明度。这使我们能够仅通过包含相应系数的低维参数向量，高效生成特定头部形状的高斯原始素材。我们提出通过从高质量计算密集型 CNN 基于高斯的头像模型蒸馏来构建这些线性基 (GEM)，这些模型能够生成类似皱纹的表达式依赖外观变化。这些高质量模型在被主体的多视角视频上进行训练，并通过一系列主成分分析进行蒸馏。一旦获得代表特定人类可动画外观空间的基，便可学习一个回归器，该回归器接受单个 RGB 图像作为输入，并预测显示所示面部表情的低维参数向量。在一系列实验中，我们将 GEM 的自再现和跨人再现结果与最先进的 3D 头像方法进行比较，证明 GEM 在视觉质量和对新表情的泛化能力方面均优于现有方法。