EF-3DGS：事件辅助的自由轨迹三维高斯泼溅
计算机视觉与模式识别
2025-11-03 v4
摘要
从随意拍摄的视频中进行场景重建在现实场景中有着广泛的应用。随着可微渲染技术的最新进展，一些方法尝试同时优化场景表示（NeRF或3DGS）和相机位姿。尽管取得了近期进展，但依赖传统相机输入的现有方法在高速（或等效的低帧率）场景中往往失败。受生物视觉启发的事件相机，以高时间分辨率异步记录逐像素强度变化，在盲帧间间隔内提供了宝贵的场景和运动信息。在本文中，我们首次引入事件相机来辅助从随意拍摄的视频进行场景构建，并提出了事件辅助的自由轨迹3DGS，称为EF-3DGS，它通过三个关键组件将事件相机的优势无缝集成到3DGS中。首先，我们利用事件生成模型（EGM）融合事件和帧，监督事件流观察到的渲染视图。其次，我们采用分段式的对比最大化（CMax）框架，通过最大化扭曲事件图像（IWE）的对比度来提取运动信息，从而校准估计的位姿。此外，基于线性事件生成模型（LEGM），IWE中编码的亮度信息也被用于在梯度域约束3DGS。第三，为缓解事件缺乏颜色信息的问题，我们引入光度束调整（PBA）以确保事件和帧之间的视图一致性。我们在公开的Tanks and Temples基准测试和一个新收集的真实世界数据集RealEv-DAVIS上评估了我们的方法。我们的项目页面是https://lbh666.github.io/ef-3dgs/。
引用
@article{arxiv.2410.15392,
title = {EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting},
author = {Bohao Liao and Wei Zhai and Zengyu Wan and Zhixin Cheng and Wenfei Yang and Tianzhu Zhang and Yang Cao and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2410.15392},
year = {2025}
}
备注
Accepted to NeurIPS 2025,Project Page: https://lbh666.github.io/ef-3dgs/