从多样化人像中学习光照
计算机视觉与模式识别
2020-08-07 v1 图形学
摘要
我们提出一种基于学习的技术，用于从单张在任意室内或室外光照条件下捕获的低动态范围(LDR)人像图像估计高动态范围(HDR)、全向光照。我们使用人像照片及其真实环境光照配对来训练模型。我们通过使用光台记录 70 个不同受试者各种表情下的反射场与 alpha 抠像，生成了丰富的一组此类照片。随后我们使用基于图像的重光照与含一百万 HDR 光照环境的数据库对受试者重新打光，并将重光后的受试者合成到光照采集期间记录的配对高分辨率背景图像上。我们使用基于渲染的损失函数训练光照估计模型，并加入多尺度对抗损失以估计合理的高频光照细节。我们展示该技术优于基于人像的光照估计的当前最优(state-of-the-art)技术，并且我们还展示我们的方法可靠地处理了整体光照强度与表面反照率之间的固有歧义，为具有不同肤色的受试者恢复相似尺度的光照。我们演示了我们的方法可将虚拟物体与数字角色添加到人像照片中并保持光照一致。我们的光照推断在智能手机上实时运行，能够实现将虚拟物体真实感渲染并合成到实时视频中，用于增强现实应用。
引用
@article{arxiv.2008.02396,
title = {Learning Illumination from Diverse Portraits},
author = {Chloe LeGendre and Wan-Chun Ma and Rohit Pandey and Sean Fanello and Christoph Rhemann and Jason Dourgarian and Jay Busch and Paul Debevec},
journal= {arXiv preprint arXiv:2008.02396},
year = {2020}
}