USP-Gaussian：统一基于脉冲的图像重建、位姿校正与高斯泼溅
计算机视觉与模式识别
2025-06-26 v2 人工智能
摘要
脉冲相机作为一种创新的神经形态相机，以 40 kHz 的 0-1 比特流捕捉场景，越来越多地被用于通过神经辐射场（NeRF）或 3D 高斯泼溅（3DGS）进行 3D 重建任务。以往基于脉冲的 3D 重建方法常采用级联流程：先基于成熟的脉冲到图像重建算法从脉冲流重建高质量图像，再进行相机位姿估计和 3D 重建。然而，这种级联方法遭受巨大的累积误差，初始图像重建的质量限制负面影响位姿估计，最终降低 3D 重建保真度。为解决这些问题，我们提出协同优化框架 USP-Gaussian，将基于脉冲的图像重建、位姿校正和高斯泼溅统一为端到端框架。利用 3DGS 提供的多视角一致性和脉冲相机的运动捕捉能力，我们的框架实现联合迭代优化，无缝融合脉冲到图像网络与 3DGS 之间的信息。在具有精确位姿的合成数据集上实验表明，我们的方法通过有效消除级联误差超越了以往方法。此外，我们集成位姿优化，在初始位姿不准确的真实场景中实现鲁棒的 3D 重建，通过有效减少噪声和保留精细纹理细节优于替代方法。我们的代码、数据和训练模型将在 https://github.com/chenkang455/USP-Gaussian 公开。
引用
@article{arxiv.2411.10504,
title = {USP-Gaussian: Unifying Spike-based Image Reconstruction, Pose Correction and Gaussian Splatting},
author = {Kang Chen and Jiyuan Zhang and Zecheng Hao and Yajing Zheng and Tiejun Huang and Zhaofei Yu},
journal= {arXiv preprint arXiv:2411.10504},
year = {2025}
}