HRAvatar：高质量且可重光照的 Gaussian 头部虚拟人

从单目视频重建可动画且高质量的 3D 头部虚拟人，尤其是具备逼真的重光照效果，是一项极具价值的任务。然而，单视图输入提供的信息有限，加之复杂的头部姿态和面部运动，使得该任务充满挑战。以往方法通过将 3D Gaussian Splatting 与参数化头部模型相结合来实现实时性能，但所得头部质量受限于不准确的面部跟踪和变形模型有限的表达能力。这些方法也无法在新型光照条件下产生逼真效果。为解决这些问题，我们提出了 HRAvatar，一种基于 3DGS 的方法，用于重建高保真、可重光照的 3D 头部虚拟人。HRAvatar 通过端到端优化减少跟踪误差，并利用可学习混合形状和可学习线性混合蒙皮更好地捕捉个体面部变形。此外，它将头部外观分解为多种物理属性，并结合基于物理的着色以考虑环境光照。大量实验表明，HRAvatar 不仅重建出质量卓越的头部，还能在变化的光照条件下实现逼真的视觉效果。