Spike-NeRF：基于脉冲相机的神经辐射场
计算机视觉与模式识别
2024-03-26 v1
摘要
作为一种具有高时间分辨率的神经形态传感器，脉冲相机在高速光学估计、深度估计和物体跟踪等高速视觉应用中相比传统相机具有显著优势。受脉冲相机成功的启发，我们提出了Spike-NeRF，这是首个从脉冲数据导出的神经辐射场，用于实现高速场景的三维重建和新视角合成。与NeRF需要同一时刻的多视角图像不同，Spike-NeRF的输入是由移动的脉冲相机在极短时间内捕获的连续脉冲流。为了从不稳定且高频的脉冲数据中重建出正确且稳定的三维场景，我们设计了脉冲掩膜以及一种独特的损失函数。我们在使用脉冲相机模拟器通过Blender生成的多个具有挑战性的合成场景上，对我们的方法进行了定性和定量评估。结果表明，在高速场景中，Spike-NeRF比现有方法及我们提出的基线方法生成了视觉上更吸引人的结果。我们的代码和数据将很快发布。
引用
@article{arxiv.2403.16410,
title = {Spike-NeRF: Neural Radiance Field Based On Spike Camera},
author = {Yijia Guo and Yuanxi Bai and Liwen Hu and Mianzhi Liu and Ziyi Guo and Lei Ma and Tiejun Huang},
journal= {arXiv preprint arXiv:2403.16410},
year = {2024}
}
备注
This paper is accepted by ICME2024