局部光场融合：具有规范性采样准则的实用视图合成
计算机视觉与模式识别
2019-05-03 v1 图形学
摘要
我们提出了一种实用且鲁棒的深度学习方法，用于捕获和渲染复杂真实世界场景的新视图以进行虚拟探索。先前的方法要么需要难以处理的密集视图采样，要么对用户应如何采样场景视图以可靠渲染高质量新视图提供很少或没有指导。相反，我们提出了一种从不规则采样视图网格进行视图合成的算法，该算法首先通过多平面图像（MPI）场景表示将每个采样视图扩展为局部光场，然后通过混合相邻局部光场来渲染新视图。我们扩展传统全光采样理论，推导出一个界限，精确指定使用我们的算法时用户应以多密集程度采样给定场景的视图。在实践中，我们应用此界限捕获和渲染真实世界场景的视图，在仅使用最多少 4000 倍的视图下达到了奈奎斯特率视图采样的感知质量。我们通过一个增强现实智能手机应用展示了我们方法的实用性，该应用引导用户捕获场景的输入图像，以及支持在桌面和移动平台上进行实时虚拟探索的查看器。
引用
@article{arxiv.1905.00889,
title = {Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines},
author = {Ben Mildenhall and Pratul P. Srinivasan and Rodrigo Ortiz-Cayon and Nima Khademi Kalantari and Ravi Ramamoorthi and Ren Ng and Abhishek Kar},
journal= {arXiv preprint arXiv:1905.00889},
year = {2019}
}
备注
SIGGRAPH 2019. Project page with video and code: http://people.eecs.berkeley.edu/~bmild/llff/