基于曝光与运动事件的 E-3DGS 高斯溅射
计算机视觉与模式识别
2025-04-14 v2 机器人学
图像与视频处理
摘要
从在最佳条件下捕获的图像实现 3D 重建已在视觉和成像领域得到广泛研究。然而，在实际场景中，运动模糊和光照不足常常限制基于标准帧率相机的性能。为此，我们在硬件层面引入透射率调整装置，使事件相机能够捕获运动事件和曝光事件，以适应多样化的 3D 重建场景。当设备处于非活动状态时，收集因相机或物体运动触发的运动事件；在较慢的运动下，通过受控曝光捕获曝光事件，用于高质量训练和优化基于事件的 3D 高斯溅射 (3DGS)。我们的框架支持三种模式：使用曝光事件进行高质量重建、依赖运动事件进行快速重建、以及初始使用曝光事件后跟随高速运动事件的平衡混合模式。在 EventNeRF 数据集上，我们证明曝光事件在细节重建方面显著优于运动事件，并在低光照和过曝等挑战条件下超越基于帧率的相机。此外，我们引入了 EME-3D 数据集，包含曝光事件、运动事件、相机标定参数和稀疏点云。我们的方法比基于事件的 NeRF 方案实现更快的重建速度和更高的质量，同时比结合事件和 RGB 数据的方法更具成本效益。E-3DGS 在面对临界条件时展现出稳健的性能，为事件驱动的 3D 重建树立了新基准。源代码和数据集将在 https://github.com/MasterHow/E-3DGS 提供。
引用
@article{arxiv.2410.16995,
title = {E-3DGS: Gaussian Splatting with Exposure and Motion Events},
author = {Xiaoting Yin and Hao Shi and Yuhan Bao and Zhenshan Bing and Yiyi Liao and Kailun Yang and Kaiwei Wang},
journal= {arXiv preprint arXiv:2410.16995},
year = {2025}
}
备注
Accepted to Applied Optics (AO). The source code and dataset will be available at https://github.com/MasterHow/E-3DGS