可重光照和可动画的高斯头像的交互式渲染

从多视角或单眼视频中创建可重光照和可动画的头像是数字人类创建和虚拟现实应用中的一个具有挑战性的任务。以往方法依赖神经辐射场或光线追踪，导致训练和渲染过程缓慢。通过利用高斯溅写，我们提出了一种简单且高效的方法，将身体材料和光照从稀疏视角或单眼头像视频中解耦，以实现交互式帧率（6.9 fps）下的 novel viewpoints、poses and lightings 同时渲染。具体而言，我们首先使用符号距离函数获取标准身体网格并为每个网格顶点分配属性。随后，高斯在标准坐标系中从相邻身体网格顶点插值获得属性。我们随后利用前向皮肤变形将高斯变形至姿态空间，并将可学习的环境光与高斯属性组合进行阴影计算。为实现快速阴影建模，我们从稠密视角对姿态下的身体网格进行光栅化以获取可见性。我们的方法不仅简单，而且足够快，可在环境光变化下实现头像动画的交互式渲染。实验表明，与先前方法相比，我们的方法在 synthetic 和 real 数据集上以更高的质量更快的速度进行渲染。