用于高效视图合成的渐进连接光场网络
计算机视觉与模式识别
2022-07-12 v1 图形学
摘要
本文提出一种渐进连接光场网络(ProLiF)，用于复杂前向场景的新视角合成。ProLiF 对 4D 光场进行编码，从而可在一步训练中渲染大批光线以计算图像级或块级损失。直接从图像学习神经光场因其对底层 3D 几何的无知而难以渲染多视图一致的图像。为解决此问题，我们提出一种渐进训练方案和正则化损失，以在训练期间推断底层几何，二者均强制多视图一致性从而大幅提升渲染质量。实验表明，在具有挑战性的 LLFF 数据集和 Shiny Object 数据集上，我们的方法能比原始神经光场实现显著更好的渲染质量，并与类 NeRF 的渲染方法结果相当。此外，我们展示了对 LPIPS 损失更好的兼容性以实现对变化光照条件的鲁棒性，以及对 CLIP 损失以控制场景的渲染风格。项目主页：https://totoro97.github.io/projects/prolif。
引用
@article{arxiv.2207.04465,
title = {Progressively-connected Light Field Network for Efficient View Synthesis},
author = {Peng Wang and Yuan Liu and Guying Lin and Jiatao Gu and Lingjie Liu and Taku Komura and Wenping Wang},
journal= {arXiv preprint arXiv:2207.04465},
year = {2022}
}
备注
Project page: https://totoro97.github.io/projects/prolif