SpikeNeRF：从连续脉冲流中学习神经辐射场
计算机视觉与模式识别
2024-03-19 v1
摘要
脉冲相机利用基于脉冲的积分采样和高时间分辨率，相比标准相机具有独特优势。然而，依赖脉冲相机的现有方法通常假设光照条件最优，而这一条件在真实场景中常常无法满足。为了解决这一问题，我们引入了 SpikeNeRF，这是首个从脉冲相机数据中导出基于 NeRF 的体积场景表示的工作。我们的方法利用 NeRF 的多视图一致性来建立稳健的自监督，有效消除错误测量，并在多样的真实光照场景下从极度嘈杂的输入中揭示连贯的结构。该框架包含两个核心要素：一个包含积分发放神经元层并考虑了非理想性（如阈值变化）参数的脉冲生成模型，以及一个能够泛化到不同光照条件的脉冲渲染损失。我们描述了如何有效地优化神经辐射场，以从新型连续脉冲流中渲染逼真的新视图，展示了在某些场景中相比其他视觉传感器的优势。在真实和新合成的逼真序列上进行的实证评估证实了我们方法的有效性。数据集和源代码已发布于 https://github.com/BIT-Vision/SpikeNeRF。
引用
@article{arxiv.2403.11222,
title = {SpikeNeRF: Learning Neural Radiance Fields from Continuous Spike Stream},
author = {Lin Zhu and Kangmin Jia and Yifan Zhao and Yunshan Qi and Lizhi Wang and Hua Huang},
journal= {arXiv preprint arXiv:2403.11222},
year = {2024}
}
备注
Accepted by CVPR 2024