Spiking NeRF:用非连续表示刻画真实世界几何
计算机视觉与模式识别
2024-08-26 v3
摘要
现有基于NeRF的方法成功的一个关键原因是通过多个感知机层(MLPs)构建用于几何表示的神经密度场。MLPs是连续函数,然而真实几何或密度场在空气与表面的界面处经常是不连续的。这种矛盾带来了几何表示不忠实的问题。为此,本文提出spiking NeRF,其利用脉冲神经元和混合人工神经网络(ANN)-脉冲神经网络(SNN)框架构建非连续密度场以实现忠实几何表示。具体而言,我们首先阐明了连续密度场会带来不准确性的原因。然后,我们提出使用脉冲神经元构建非连续密度场。我们对现有脉冲神经元模型的问题进行了全面分析,进而给出了脉冲神经元参数与几何理论精度之间的数值关系。在此基础上,我们提出有界脉冲神经元来构建非连续密度场。我们的方法取得了SOTA性能。源代码和补充材料可在 https://github.com/liaozhanfeng/Spiking-NeRF 获取。
引用
@article{arxiv.2311.09077,
title = {Spiking NeRF: Representing the Real-World Geometry by a Discontinuous Representation},
author = {Zhanfeng Liao and Qian Zheng and Yan Liu and Gang Pan},
journal= {arXiv preprint arXiv:2311.09077},
year = {2024}
}