LightSpeed:移动设备上的轻量快速神经光场
计算机视觉与模式识别
2023-10-30 v2
摘要
由于计算能力和存储有限,移动设备上的实时新视角图像合成难以实现。由于体渲染的高计算成本,在移动设备上使用如 NeRF 及其衍生方法的体渲染方法并不合适。另一方面,神经光场表示的最新进展已在移动设备上展现出有前景的实时视角合成结果。神经光场方法学习从光线表示到像素颜色的直接映射。当前光线表示的选择要么是分层光线采样,要么是 Plucker 坐标,忽略了经典的光 slab(双平面)表示——一种用于光场视角间插值的优选表示。在这项工作中,我们发现使用光 slab 表示是学习神经光场的一种高效表示。更重要的是,它是一种低维光线表示,使我们能够使用特征网格学习 4D 光线空间,其训练和渲染速度显著更快。尽管主要面向正面视角设计,我们展示了光 slab 表示可使用分治策略进一步扩展到非正面场景。我们的方法相比以往的光场方法提供了更优的渲染质量,并实现了渲染质量与速度之间显著改进的权衡。
引用
@article{arxiv.2310.16832,
title = {LightSpeed: Light and Fast Neural Light Fields on Mobile Devices},
author = {Aarush Gupta and Junli Cao and Chaoyang Wang and Ju Hu and Sergey Tulyakov and Jian Ren and László A Jeni},
journal= {arXiv preprint arXiv:2310.16832},
year = {2023}
}
备注
Project Page: http://lightspeed-r2l.github.io/ . Add camera ready version