视频人像中的神经重打光与表情迁移

照片级真实感的视频人像重演有益于虚拟制作以及众多 VR/AR 体验。该任务仍然具有挑战性，因为重演的表情应与源人物匹配，而光照应可调节至新环境。我们提出了一种神经重打光与表情迁移技术，将源表演者的面部表情迁移到目标表演者的肖像视频上，同时实现动态重打光。我们的方法采用 4D 反射场学习、基于模型的面部性能捕捉以及目标感知神经渲染。具体而言，给定目标表演者的一段短序列 OLAT（单向光照下的外观纹理），我们应用渲染到视频的翻译网络，首先合成具有未见表情的新序列的 OLAT 结果。随后，我们设计了一种语义感知的面部归一化方案，并结合多帧多任务学习策略，对内容、分割和运动流进行编码，以可靠地推断反射场。这使我们能够同时控制面部表情并施加虚拟重打光。大量实验表明，我们的技术能够稳健地处理具有挑战性的表情与光照环境，并生成电影级质量的结果。