Deblur e-NeRF:从高速或低光条件下运动模糊事件重建神经辐射场
计算机视觉与模式识别
2024-10-01 v1 图形学
机器人学
系统与控制
系统与控制
摘要
事件相机设计理念的显著差异使其特别适合在高速、高动态范围和低光条件下运行,而这些条件下标准相机的性能不佳。然而,与大多数人的想法相反,事件相机在这些具有挑战性的条件下仍然会受到一定程度的运动模糊影响。这归因于事件传感器像素的有限带宽,该带宽大致与光强度成正比。因此,为了确保事件相机在具有优势的条件下真正表现出色,在后续应用(尤其是重建)中考虑事件运动模糊至关重要。然而,近期关于从事件重建神经辐射场的工作以及事件模拟器,均未考虑事件运动模糊的全部影响。为此,我们提出了Deblur e-NeRF,一种新颖的方法,可以直接有效地从高速运动或低光条件下产生的运动模糊事件中重建模糊最小化的神经辐射场。本工作的核心组件是一个物理精确的像素带宽模型,用于解释任意速度和光照条件下的事件运动模糊。我们还引入了一种新颖的阈值归一化总变分损失,以改善对大面积无纹理区域的规则化。在真实和新型逼真模拟序列上的实验验证了我们的有效性。我们的代码、事件模拟器和合成事件数据集将开源。
引用
@article{arxiv.2409.17988,
title = {Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions},
author = {Weng Fei Low and Gim Hee Lee},
journal= {arXiv preprint arXiv:2409.17988},
year = {2024}
}
备注
Accepted to ECCV 2024. Project website is accessible at https://wengflow.github.io/deblur-e-nerf