实时三维感知的人像视频重光照

在自定义光照条件和视角下合成逼真的说话人脸视频，有利于视频会议等下游应用。然而，大多数现有的重光照方法要么耗时，要么无法调整视角。在本文中，我们提出了第一种基于神经辐射场（NeRF）的实时三维感知方法，用于对野外说话人脸视频进行重光照。给定输入的人像视频，我们的方法能够以逼真且解耦的三维表示，在新视角和新光照条件下合成说话人脸。具体来说，我们为每个视频帧推断一个反照率三平面，以及基于期望光照条件的着色三平面，使用快速双编码器。我们还利用时间一致性网络来确保平滑过渡并减少闪烁伪影。我们的方法在消费级硬件上以32.98帧/秒的速度运行，并在重建质量、光照误差、光照不稳定性、时间一致性和推理速度方面达到了最先进的结果。我们在具有不同光照和视角条件的各种人像视频上展示了我们方法的有效性和交互性。