基于火炬单元的神经辐射场
计算机视觉与模式识别
2024-04-04 v1
摘要
神经辐射场（NeRF）引发了基于学习的三维重建方法，广泛应用于工业应用。尽管主流方法在小规模场景中取得了显著改进，但在复杂和大规模场景中完成重建仍然具有挑战性。首先，复杂场景中的背景在不同视角下表现出较大差异。其次，当前的推理模式，即一个像素仅依赖于单个相机光线，无法捕获上下文信息。为了解决这些问题，我们提出扩大光线感知场并建立样本点之间的交互。在本文中，我们设计了一种新颖的推理模式，使单个相机光线拥有更多上下文信息，并对每条相机光线上的样本点之间的关系进行建模。为了容纳上下文信息，我们提出的方法中的一条光线可以同时渲染一个像素块。此外，我们将神经辐射场模型中的MLP替换为距离感知卷积，以增强来自同一条相机光线的样本点之间的特征传播。总之，如同火炬之光，我们方法中的一条光线实现了渲染一块图像。因此，我们将所提出的方法称为Torch-NeRF。在KITTI-360和LLFF上的大量实验表明，Torch-NeRF表现出优异的性能。
引用
@article{arxiv.2404.02617,
title = {Neural Radiance Fields with Torch Units},
author = {Bingnan Ni and Huanyu Wang and Dongfeng Bai and Minghe Weng and Dexin Qi and Weichao Qiu and Bingbing Liu},
journal= {arXiv preprint arXiv:2404.02617},
year = {2024}
}