X-Fields：隐式神经的视角、光照与时间图像插值
计算机视觉与模式识别
2020-10-02 v1 图形学
摘要
我们建议用学习一个神经网络（NN）将视角、时间或光照坐标映射到 2D 图像的方式，来表示一组在不同视角、时间或光照条件下（即视频、光场、反射场或其组合）拍摄的 2D 图像所构成的 X-Field。在新的坐标处执行该 NN 可实现联合的视角、时间或光照插值。使之可行的关键思想是一个以硬编码且可微分形式已经知晓图形学“基本技巧”（光照、3D 投影、遮挡）的 NN。该 NN 将渲染的输入表示为一个隐式映射，对任意视角、时间或光照坐标以及任意像素，都能量化若视角、时间或光照坐标改变时该像素将如何移动（像素位置相对于视角、时间、光照等的雅可比）。我们的 X-Field 表示针对一个场景在数分钟内完成训练，得到一组紧凑的可训练参数，从而实现视角、时间与光照下的实时浏览。
引用
@article{arxiv.2010.00450,
title = {X-Fields: Implicit Neural View-, Light- and Time-Image Interpolation},
author = {Mojtaba Bemana and Karol Myszkowski and Hans-Peter Seidel and Tobias Ritschel},
journal= {arXiv preprint arXiv:2010.00450},
year = {2020}
}
备注
15 pages, 19 figures, accepted at SIGGRAPH Asia 2020, project webpage: https://xfields.mpi-inf.mpg.de/