GRMM：基于学习残差的实时高保真高斯可变头模型

3D 可变模型 (3DMM) 使可控的人脸几何和表情编辑在重建、动画和 AR/VR 中获得可调性，但传统基于主成分分析 (PCA) 的网格模型在分辨率、细节和照明逼真度方面受到限制。神经体积方法提高了逼真度，但仍不足以用于交互式使用。最近基于高斯溶解 (3DGS) 的人脸模型实现了快速、高质量的渲染，但仍仅依赖基于网格的 3DMM 先验进行表情控制，限制了其捕获细粒度几何、表情和全头覆盖的能力。我们提出 GRMM，首个基于全头高斯的 3D 可变模型，通过在基础 3DMM 上增添残差几何和外观组件来实现增强，这些是能够恢复高频细节（如皱纹、细腻皮肤纹理和发际线变化）的添加性细化。GRMM 通过低维、可解释的参数（如身份形状、面部表情）实现解耦控制，同时单独建模捕获基础模型能力之外的主体和表情特定细节的残差。粗解码器产生顶点级网格变形，细解码器表示每个高斯的外观，轻量级 CNN 对光栅化图像进行细化，以实现更高的逼真度，同时保持 75 FPS 的实时渲染性能。为学习一致的高保真残差，我们提出 EXPRESS-50，首个包含 50 个身份 across 60 个对齐表情的数据集，使我们能够在基于高斯的 3DMM 中实现身份和表情的稳健解耦。总体而言，GRMM 在单眼 3D 人脸重建、新视角合成和表情迁移方面超越了最先进的方法，在保真度和表情精度方面实现了优势，同时实现了交互式实时性能。