URHand：通用可重光照手部模型

现有的照片级真实感可重光照手部模型需要大量针对特定身份在不同视角、姿态和光照下的观测数据，且在泛化至自然光照和新身份时面临挑战。为弥补这一差距，我们提出了 URHand，这是首个能在视角、姿态、光照和身份间泛化的通用可重光照手部模型。我们的模型允许使用手机拍摄的图像进行少样本个性化，并准备好在新光照下进行照片级真实感渲染。为了在保持照片级真实感的同时简化个性化过程，我们基于从光舞台捕获的数百个身份的多视角手部图像进行神经重光照，构建了一个强大的通用可重光照先验。关键挑战在于扩展跨身份训练，同时在保持个性化保真度和清晰细节的同时，不损害在自然光照下的泛化能力。为此，我们提出了一种空间变化的线性光照模型作为神经渲染器，该模型以物理启发的着色作为输入特征。通过移除非线性激活和偏置，我们专门设计的光照模型显式地保持了光传输的线性。这使得能够从光舞台数据进行单阶段训练，同时泛化至不同身份在任意连续光照下的实时渲染。此外，我们引入了基于物理的模型与我们神经重光照模型的联合学习，进一步提高了保真度和泛化能力。大量实验表明，我们的方法在质量和泛化性方面均优于现有方法。我们还展示了如何从未见身份的手机简短扫描中快速个性化 URHand。