基于尖脉冲流的高速摄影下的3D高斯溅写
计算机视觉与模式识别
2024-07-16 v1
摘要
新视角合成在通过3D场景的多视图图像生成新的2D渲染图景方面发挥着关键作用。然而，利用常规摄像机捕捉高速场景时，常常会出现运动模糊，阻碍3D重建的效果。为此，高帧率稠密3D重建成为关键技术，能够在包括虚拟现实和具身智能等多个领域，对真实世界中的物体或场景进行详细且准确的建模。尖脉冲摄像机是一种新型神经传感器，能够以超高时序分辨率持续记录场景，显示出准确3D重建的潜力。尽管如此，现有方法（例如将神经辐射场(NeRF)应用于尖脉冲摄像机）由于渲染过程耗时，面临挑战。为此，我们首次尝试将3D高斯溅写引入尖脉冲摄像机中进行高速捕捉，提供3D高斯溅写作为视图的稠密且连续的线索，然后构建SpikeGS。具体而言，为训练SpikeGS，我们在3D高斯溅写的渲染过程与尖脉冲流的瞬时成像和类似曝光成像过程之间建立了计算方程。此外，我们构建了一个非常轻量却有效的从尖脉冲到瞬时图像的映射过程，以支持训练。 Furthermore, we introduced a new spike-based 3D rendering dataset for validation. Extensive experiments have demonstrated our method possesses the high quality of novel view rendering, proving the tremendous potential of spike cameras in modeling 3D scenes.
引用
@article{arxiv.2407.10062,
title = {SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion},
author = {Jiyuan Zhang and Kang Chen and Shiyan Chen and Yajing Zheng and Tiejun Huang and Zhaofei Yu},
journal= {arXiv preprint arXiv:2407.10062},
year = {2024}
}