基于视频的可重光照与可动画神经化身

轻量级创建 3D 数字化身是一项高度理想但具有挑战性的任务。仅利用未知光照下人物的稀疏视频，我们提出了一种创建可重光照和可动画神经化身的方法，该方法可用于在新视角、身体姿态和光照下合成逼真的人体图像。这里的关键挑战在于解耦着装身体的几何形状、材质和光照，而由于身体运动引起的复杂几何形状和阴影变化，这一任务变得更加困难。为了解决这一病态问题，我们提出了新技术以更好地建模几何形状和阴影变化。对于几何形状变化建模，我们提出了一种可逆变形场，有助于解决逆蒙皮问题并提升几何质量。为了建模时空变化的着色线索，我们提出了一种姿态感知的分部位光可见性网络来估计光遮挡。在合成和真实数据集上的大量实验表明，我们的方法重建了高质量的几何形状，并在不同身体姿态下生成了逼真的阴影。代码和数据可在 \url{https://wenbin-lin.github.io/RelightableAvatar-page/} 获取。