中文

NeLF-Pro:用于多尺度新视角合成的神经光场探针

计算机视觉与模式识别 2024-04-23 v2

摘要

我们提出了 NeLF-Pro,一种用于建模和重建在范围和空间粒度上存在变化的多样自然场景光场的新颖表示。与以往全局表示 3D 场景的快速重建方法不同,我们将场景的光场建模为一组局部光场特征探针,并由位置和多通道 2D 特征图进行参数化。我们的核心思想是将场景的光场烘焙为空间变化的可学习表示,并通过混合靠近相机的探针来查询点特征——从而支持 mipmap 表示与渲染。我们引入了一种新颖的向量-矩阵-矩阵(VMM)分解技术,该技术将光场特征探针有效表示为局部特征探针间共享的核心因子(即 VM)与一个基因子(即 M)的乘积——高效地编码场景内的内部关系与模式。实验表明,NeLF-Pro 显著提升了基于特征网格表示的性能,在保持紧凑建模的同时实现了快速重建与更好的渲染质量。项目网页 https://sinoyou.github.io/nelf-pro/。

关键词

引用

@article{arxiv.2312.13328,
  title  = {NeLF-Pro: Neural Light Field Probes for Multi-Scale Novel View Synthesis},
  author = {Zinuo You and Andreas Geiger and Anpei Chen},
  journal= {arXiv preprint arXiv:2312.13328},
  year   = {2024}
}

备注

CVPR 2024 Conference Paper, Camera Ready Version