LookinGood：利用实时神经重渲染增强性能捕捉
计算机视觉与模式识别
2018-11-14 v1
摘要
受远程呈现等增强现实和虚拟现实应用的推动，近期研究聚焦于运动下人类的实时性能捕捉。然而，在实时约束下，这些系统常出现几何与纹理伪影，如最终渲染中的孔洞与噪声、光照不佳以及低分辨率纹理。我们采取一种新颖方法，以深度架构增强此类实时性能捕捉系统：该架构接收任意视点的渲染图像，并实时联合完成图像的补全、超分辨率与去噪。我们称此方法为神经（重）渲染，我们的实时系统为“LookinGood”。我们的深度架构经训练可从粗渲染实时生成高分辨率、高质量图像。首先，我们提出一种无需人工真值标注的自监督训练方法。我们贡献了一种利用语义信息聚焦于主体相关部分（如面部）的专用重建误差。我们还引入了能够剔除异常值的损失函数显著重加权方案。我们专门为该系统的虚拟与增强现实头显设计，其中左右眼间的一致性对最终用户体验起关键作用。最后，我们通过显式最小化两连续帧间差异生成时间稳定结果。我们在两种不同场景中测试了所提系统：其一涉及单个RGB-D传感器及演员上半身重建，其二为全身360度捕捉。通过大量实验，我们展示了系统如何泛化至未见过的序列与主体。补充视频见 http://youtu.be/Md3tdAKoLGU。
引用
@article{arxiv.1811.05029,
title = {LookinGood: Enhancing Performance Capture with Real-time Neural Re-Rendering},
author = {Ricardo Martin-Brualla and Rohit Pandey and Shuoran Yang and Pavel Pidlypenskyi and Jonathan Taylor and Julien Valentin and Sameh Khamis and Philip Davidson and Anastasia Tkach and Peter Lincoln and Adarsh Kowdle and Christoph Rhemann and Dan B Goldman and Cem Keskin and Steve Seitz and Shahram Izadi and Sean Fanello},
journal= {arXiv preprint arXiv:1811.05029},
year = {2018}
}
备注
The supplementary video is available at: http://youtu.be/Md3tdAKoLGU To be presented at SIGGRAPH Asia 2018