基于家庭光舞台的个性化视频重打光

本文提出一种个性化视频重打光算法，可在任意姿态、表情和光照条件下实时生成高质量且时间一致的重新打光视频。现有重打光算法通常要么依赖公开可用的合成数据（导致重打光效果差），要么依赖难以获取的真实光舞台数据。我们表明，仅通过捕获用户观看显示器上 YouTube 视频的记录，即可训练出能在任意条件下执行高质量重打光的个性化算法。我们的关键贡献是一种新颖的基于图像的神经重打光架构，它能有效将内在外观特征（面部几何与反射率）与源光照分离，再将其与目标光照结合以生成重打光图像。该神经架构可平滑内在外观特征，从而实现时间稳定的视频重打光。定性与定量评估均表明，在随意捕获的“桌面光舞台”（LSYD）和光舞台捕获的“一次一光”（OLAT）数据集上，我们的架构在肖像图像重打光质量与时间一致性上均优于最先进方法。