Clean-NeRF：重构NeRF以处理视角相关观测
计算机视觉与模式识别
2023-03-28 v1
摘要
尽管神经辐射场（NeRF）已经取得了前所未有的新视角合成结果，但其在处理具有稀疏输入视角和高度视角相关外观的大规模杂乱场景时仍面临困难。具体而言，现有的基于NeRF的模型往往产生模糊的渲染，体素重建通常不准确，大量重建误差以悬浮在不透明三维场景整个体积内的雾状“漂浮物”形式被观察到。这种不准确性阻碍了NeRF在精确三维NeRF配准、物体检测、分割等方面的潜力，这可能解释了迄今为止直接解决这些重要三维基础计算机视觉问题的重大研究努力有限的原因。本文分析了NeRF在此类设置中的困境，并提出了Clean-NeRF用于复杂场景中的精确三维重建和新视角渲染。我们的关键见解包括施加传统NeRF重建中缺失的有效外观和几何约束：1）自动检测并建模训练视角中的视角相关外观，以防止其干扰密度估计；2）在推理时对每条追踪光线执行几何校正过程，二者共同完成。Clean-NeRF可作为插件实现，无需额外输入即可立即惠及现有基于NeRF的方法。代码将会发布。
引用
@article{arxiv.2303.14707,
title = {Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations},
author = {Xinhang Liu and Yu-Wing Tai and Chi-Keung Tang},
journal= {arXiv preprint arXiv:2303.14707},
year = {2023}
}