IncEventGS:基于单目事件相机的姿态-free 高斯溶解
计算机视觉与模式识别
2025-03-26 v4
摘要
隐式神经表示和显式 3D 高斯溶解 (3D-GS) 用于新视角合成最近在基于帧的相机(如 RGB 和 RGB-D 相机)方面取得了显著进展。与帧-based 相机相比,一种新型仿生视觉传感器,即事件相机,显示出在高时间分辨率、高动态范围、低功耗和低延迟方面的优势。由于其独特的异步和不规则数据捕获过程,仅有有限的工作提出了将神经表示或 3D 高斯溶解应用于事件相机。本文提出了 IncEventGS,一种基于单目事件相机的递增 3D 高斯溶解重建算法。为了增量恢复 3D 场景表示,我们利用常规 SLAM 流水线的跟踪和映射范式。给定进入的事件流,跟踪器首先根据先前重建的 3D-GS 场景表示估计初始相机运动。随后,映射器基于跟踪器之前估计的运动轨迹联合细化 3D 场景表示和相机运动。实验结果表明,IncEventGS 在不具备 ground-truth 相机姿态的情况下,比以前的 NeRF-based 方法和其他相关基线表现出更佳性能。此外,我们的方法在相机运动估计方面也比最先进的事件视觉里程计方法表现更好。代码已公开:https://github.com/wu-cvgl/IncEventGS。
关键词
引用
@article{arxiv.2410.08107,
title = {IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera},
author = {Jian Huang and Chengrui Dong and Xuanhua Chen and Peidong Liu},
journal= {arXiv preprint arXiv:2410.08107},
year = {2025}
}
备注
Code Page: https://github.com/wu-cvgl/IncEventGS