InverseRenderNet：从单张图像学习逆渲染
计算机视觉与模式识别
2018-11-30 v1
摘要
我们展示了如何训练一个全卷积神经网络，从单张不受控制的图像执行逆渲染。该网络以 RGB 图像为输入，回归反照率与法线图，并由此计算光照系数。我们的网络使用无真实值的大型不受控制图像集合进行训练。通过引入可微渲染器，我们的网络可从自监督中学习。由于该问题不适定，我们引入了额外的监督：1. 我们学习一个统计自然光照先验；2. 我们的关键见解是对包含丰富光照变化的图像执行离线多视立体 (MVS)。由 MVS 位姿与深度图，我们可以在重叠视间交叉投影，从而可使用孪生训练以确保对光度不变量的估计一致。MVS 深度还为法线图估计提供直接的粗监督。我们认为这是首次尝试使用 MVS 监督来学习逆渲染。
引用
@article{arxiv.1811.12328,
title = {InverseRenderNet: Learning single image inverse rendering},
author = {Ye Yu and William A. P. Smith},
journal= {arXiv preprint arXiv:1811.12328},
year = {2018}
}