可重光照全身高斯编码头像

我们提出了可重光照全身高斯编码头像（Relightable Full-Body Gaussian Codec Avatars），这是一种新的建模方法，用于创建具有面部和手部等细粒度细节的可重光照全身头像。可重光照全身头像面临的独特挑战在于因身体关节变形导致的大幅变形，以及这种变形对光照影响的后果。身体姿势的变化会显著改变身体表面相对于光源的方向，从而导致局部光照函数变化引起的局部外观变化，以及因身体部件之间的遮挡导致的非局部变化。为此，我们将光照传递分解为局部和非局部分析。局部外观变化使用可学习的区域谐波来建模漫反射辐射传递。与球面谐波不同，区域谐波在关节变形时旋转效率极高。这使我们能够在局部坐标系中学习漫反射辐射传递，从而将局部辐射传递从身体关节变形中解耦。为了处理非局部分析，我们引入了一个阴影网络，该网络根据预计算的基础网格上的入射照度预测阴影。这有助于学习身体部件之间的非局部阴影。最后，我们采用延迟光照方法来建模镜面辐射传递，以更好地捕捉反射和高光，如眼睛眼光。我们展示了我们的做法成功地建模了可重光照全身头像所需的局部和非局部分析，同时在新光照条件和不可见姿势下具有优异的泛化能力。