IntrinsicAvatar：通过显式光线追踪从单目视频进行基于物理的动态人体逆渲染

我们提出了IntrinsicAvatar，一种从仅单目视频中恢复穿衣人体化身内在属性（包括几何、反照率、材质和环境光照）的新方法。基于人体的神经渲染的最新进展使得仅从单目视频就能实现穿衣人体的高质量几何和外观重建。然而，这些方法将反照率、材质和环境光照等内在属性烘焙到单个纠缠的神经表示中。另一方面，只有少数工作解决了从单目视频估计穿衣人体几何和解缠外观属性的问题。由于通过学习的MLP对次级着色效应进行近似，它们通常只能达到有限的质量和解缠度。在这项工作中，我们提出通过蒙特卡洛光线追踪显式建模次级着色效应。我们将穿衣人体的渲染过程建模为体积散射过程，并将光线追踪与身体关节运动相结合。我们的方法可以从单个单目视频中恢复穿衣人体的高质量几何、反照率、材质和光照属性，无需使用真实材质进行监督预训练。此外，由于我们显式建模了体积散射过程和光线追踪，我们的模型自然泛化到新姿态，使得能够在新颖光照条件下对重建的化身进行动画化。