DARF：深度感知的泛化神经辐射场
计算机视觉与模式识别
2025-02-18 v3
摘要
神经辐射场(NeRF)已革新新视角渲染任务并取得令人印象深刻的成果。然而，低效的采样与逐场景优化阻碍了其广泛应用。尽管已提出一些可泛化的 NeRF，但由于缺乏几何与场景唯一性，渲染质量不尽如人意。为解决这些问题，我们提出深度感知的泛化神经辐射场(DARF)，并配以深度感知动态采样(DADS)策略，以在无逐场景优化的情况下对未见场景进行高效新视角渲染与无监督深度估计。与多数现有可泛化 NeRF 不同，我们的框架仅以少量输入图像在像素级与几何级推断未见场景。通过引入预训练深度估计模块导出深度先验、将光线采样区间收窄至估计表面邻近空间、并在期望最大位置采样，我们在学习新视角合成共性属性的同时保留场景特性。此外，我们引入多级语义一致性损失(MSC)以辅助更具信息量的表示学习。在室内与室外数据集上的大量实验表明，相较于最先进的可泛化 NeRF 方法，DARF 将采样数减少 50%，同时提升了渲染质量与深度估计。我们的代码见 https://github.com/shiyue001/GARF.git。
引用
@article{arxiv.2212.02280,
title = {DARF: Depth-Aware Generalizable Neural Radiance Field},
author = {Yue Shi and Dingyi Rong and Chang Chen and Chaofan Ma and Bingbing Ni and Wenjun Zhang},
journal= {arXiv preprint arXiv:2212.02280},
year = {2025}
}