FLARE：可动画化与可重光照网格化身的快速学习

我们的目标是从视频中高效学习个性化的可动画化 3D 头部化身，这些化身在几何上准确、逼真、可重光照，并与当前渲染系统兼容。虽然 3D 网格能够实现高效处理且高度可移植，但其在形状和外观方面缺乏真实感。另一方面，神经表示虽然逼真，但缺乏兼容性，且训练和渲染速度慢。我们的核心见解是，通过利用传统计算机图形学中高度优化的方法并用神经网络近似其中某些组件，可以通过可微渲染高效学习高保真 3D 网格表示。为此，我们引入了 FLARE，一种能够从单目视频中创建可动画化与可重光照网格化身的技术。首先，我们使用网格表示学习规范几何，实现高效的可微光栅化，并通过学习到的混合形状与线性混合蒙皮权重实现直接动画化。其次，我们遵循基于物理的渲染，将观测颜色分解为本征反照率、粗糙度以及光照的神经表示，使学习到的化身能够在新场景中被重光照。由于我们的输入视频是在单一设备以窄视场捕获的，对周围环境光的建模并非易事。基于用于建模镜面反射的分离和近似，我们通过以表面粗糙度调制的多层感知机（MLP）来近似预滤波环境贴图来解决此问题，从而无需显式建模光。我们证明了我们的基于网格的化身公式，结合学习到的形变、材质和光照 MLP，能够生成具有高质量几何与外观的化身，同时与现有方法相比在训练和渲染上更高效。