G-NeLF：一种内存与数据高效的混合神经光场用于新视角合成
计算机视觉与模式识别
2024-09-10 v1
摘要
在神经表示方面的快速发展推动了 Neural Light Field (NeLF) 的引入，用于直接预测射线的颜色。与 Neural Radiance Field (NeRF) 不同，NeLF 不通过预测空间中每个点的颜色和体积密度来创建点级表示。然而，当前 NeLF 方法面临一个挑战：它们需要首先训练一个 NeRF 模型，然后合成超过 10K 个视角以进行改进训练。此外，NeLF 方法的渲染质量也低于 NeRF 方法。本文提出了 G-NeLF，一种灵活的基于网格的 NeLF 方法，利用空间感知特征释放神经网络推理潜能，从而克服 NeLF 训练的困难。具体而言，我们采用源自精心设计网格的空间感知特征序列作为射线的表示。基于我们对多分辨率哈希表适应性的实证研究，我们引入一种新颖的基于网格的射线表示方法，能够用极少数参数表示整个空间。为更好地利用序列特征，我们设计了一个轻量级射线颜色解码器，模拟射线的传播过程，实现对射线颜色的更高效推理。G-NeLF 可在不显著存储开销的情况下进行训练，模型大小仅为 0.95 MB，即可超越之前的 SOTA NeLF。此外，与基于网格的 NeRF 方法（如 Instant-NGP）相比，我们仅使用其参数的十分之一即可实现更好的性能。我们的代码将在接受后公开。
引用
@article{arxiv.2409.05617,
title = {G-NeLF: Memory- and Data-Efficient Hybrid Neural Light Field for Novel View Synthesis},
author = {Lutao Jiang and Lin Wang},
journal= {arXiv preprint arXiv:2409.05617},
year = {2024}
}