利用多视角自监督从单张图像进行室外逆渲染
计算机视觉与模式识别
2021-02-15 v1
摘要
本文中，我们展示如何使用全卷积神经网络从单张无控制图像进行场景级逆渲染以恢复形状、反射率与光照。该网络以RGB图像为输入，回归反照率、阴影与法线图，并从中推断最小二乘最优球谐光照系数。我们的网络使用无真实值的大型无控制多视角与延时图像集合训练。通过引入可微渲染器，网络可从自监督中学习。由于问题不适定，我们引入额外监督。我们的关键洞见是对含丰富光照变化的图像执行离线多视角立体（MVS）。由MVS位姿与深度图，我们可在重叠视角间交叉投影，从而可使用孪生训练以确保光度不变量的估计一致。MVS深度还为法线图估计提供直接粗监督。我们认为这是首次尝试使用MVS监督学习逆渲染。此外，我们学习了统计自然光照先验。我们在逆渲染、法线图估计与本征图像分解基准上评估性能。
引用
@article{arxiv.2102.06591,
title = {Outdoor inverse rendering from a single image using multiview self-supervision},
author = {Ye Yu and William A. P. Smith},
journal= {arXiv preprint arXiv:2102.06591},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:1811.12328