Elite-EvGS：通过蒸馏事件到视频先验知识学习基于事件的 3D 高斯溅写
计算机视觉与模式识别
2024-09-23 v1
摘要
事件相机是受生物启发的传感器，输出异步稀疏事件流，不同于固定帧。凭借其独特优势，如高动态范围和高时间分辨率，事件相机已被应用于 3D 重建领域。近期，3D 高斯溅写（3DGS）等神经渲染技术在 3D 重建中取得成功。然而，如何开发有效的基于事件的 3DGS 流程仍鲜有探索。特别是，由于事件本质稀疏，3DGS 对高质量初始化和密集多视角约束依赖，导致事件下优化存在潜在问题。为此，我们提出一种新型基于事件的 3DGS 框架，命名为 Elite-EvGS。我们的核心思想是从现成的事件到视频（E2V）模型中提取先验知识，以粗到细的方式有效重建事件中的 3D 场景。具体而言，为解决事件下 3DGS 初始化的复杂性，我们引入一种新颖的预热初始化策略：先优化由 E2V 模型生成的帧上的粗糙 3DGS，然后利用事件细化。随后，我们提出渐进式事件监督策略，通过窗口分片操作逐步减少用于监督的事件数量。这种做法柔和地缓解了事件帧的时间随机性，有助于优化局部纹理和全局结构细节。基准数据集上的实验表明，Elite-EvGS 能重建出更具纹理和结构细节的 3D 场景。与此同时，我们的方法在真实世界数据上表现出色，包括多种挑战性场景，如快速运动和低光场景。
引用
@article{arxiv.2409.13392,
title = {Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors},
author = {Zixin Zhang and Kanghao Chen and Lin Wang},
journal= {arXiv preprint arXiv:2409.13392},
year = {2024}
}