结合内蕴分解与姿态控制的可重新打光神经演员

在固定光照下从多视角视频创建可控且可重新打光的数字虚拟人是一个极具挑战性的问题，因为人体具有高度关节化特征，会产生姿态依赖的外观效应，且皮肤与衣物需要空间变化的BRDF建模。现有的创建可动画化虚拟人的工作要么完全不关注重打光，要么需要受控光照设置，要么试图从极低成本的设置（即单RGB视频）中恢复可重打光虚拟人，但代价是结果质量严重受限（例如甚至未对阴影进行建模）。为了解决这一问题，我们提出了Relightable Neural Actor，这是一种新的基于视频的方法，用于学习可重打光、允许外观编辑、且能建模皱纹和自阴影等姿态依赖效应的姿态驱动神经人体模型。重要的是，在训练阶段，我们的方法仅需要人体在已知但静态的光照条件下的多视角记录。为了解决这一挑战性问题，我们利用具有可驱动密度场的演员隐式几何表示来建模姿态依赖形变，并推导出3D与UV空间之间的动态映射，其中法线、可见性和材质被有效编码。为了在真实场景中评估我们的方法，我们收集了一个包含在不同光照条件（室内和室外）下录制的四个身份的新数据集，提供了该类别人体重打光的第一个基准，并展示了在新型人体姿态下的SOTA重打光结果。