证言的新维度:利用反射场样本重打光视频
计算机视觉与模式识别
2021-04-08 v1
摘要
我们提出一种基于学习的方法,用于在给定同一对象于平面光照环境下拍摄的视频素材时估计该人的4D反射场。对于训练数据,我们一次使用一盏灯照亮对象,并捕获其在多种姿态与视角下的反射场数据。我们估计输入视频素材的光照环境,并利用该对象的反射场创建由输入光照环境照亮对象的合成图像。随后我们训练一个深度卷积神经网络从合成图像回归反射场。我们还使用可微渲染器,通过使重打光图像与输入视频帧匹配来为网络提供反馈。这种半监督训练方案使神经网络能够处理数据集中未见的姿态,并补偿光照估计误差。我们在真实大屠杀幸存者的视频素材上评估了我们的方法,并表明我们的方法在真实感与速度上均优于最先进(state-of-the-art)的方法。
引用
@article{arxiv.2104.02773,
title = {A New Dimension in Testimony: Relighting Video with Reflectance Field Exemplars},
author = {Loc Huynh and Bipin Kishore and Paul Debevec},
journal= {arXiv preprint arXiv:2104.02773},
year = {2021}
}