SpikeGS：从连续脉冲流学习三维高斯场

脉冲相机是一种专门的高速视觉传感器，与传统帧相机相比，具有高时间分辨率和高动态范围等优势。这些特性使该相机在许多计算机视觉任务中具有显著优势。然而，基于脉冲相机的新视角合成任务仍不成熟。尽管已有从脉冲流学习神经辐射场的方法，但这些方法在极端噪声、低质量光照条件下缺乏鲁棒性，或者由于神经辐射场中使用的深度全连接神经网络和光线行进渲染策略而导致计算复杂度高，难以恢复精细纹理细节。相比之下，三维高斯泼溅（3DGS）的最新进展通过将点云表示优化为高斯椭球体，实现了高质量实时渲染。在此基础上，我们提出了SpikeGS，一种仅从脉冲流学习三维高斯场的方法。我们设计了一个基于3DGS的可微分脉冲流渲染框架，融合了噪声嵌入和脉冲神经元。通过利用3DGS的多视图一致性和基于图块的多线程并行渲染机制，我们实现了高质量的实时渲染结果。此外，我们引入了一个脉冲渲染损失函数，该函数在不同光照条件下具有泛化能力。我们的方法可以从移动脉冲相机捕获的连续脉冲流中重建出具有精细纹理细节的视图合成结果，同时在极端噪声的低光场景中表现出高鲁棒性。在真实和合成数据集上的实验结果表明，我们的方法在渲染质量和速度上均超越了现有方法。