利用事件与帧缓解神经辐射场中的运动模糊
计算机视觉与模式识别
2024-06-04 v2
摘要
Neural Radiance Fields (NeRFs) 在新视角合成方面展现出巨大潜力。然而，当用于训练的数据受到运动模糊影响时，它们难以渲染出清晰的图像。另一方面，事件相机在动态场景中表现出色，因为它们以微秒级分辨率测量亮度变化，因此几乎不受模糊影响。最近的方法尝试通过融合帧和事件来增强相机运动下的 NeRF 重建。然而，它们在恢复准确的颜色内容方面面临挑战，或将 NeRF 限制在一组预定义的相机位姿上，从而损害了在挑战性条件下的重建质量。本文提出了一种新的公式化方法，通过结合基于模型和基于学习的模块来解决这些问题。我们显式地建模了模糊形成过程，利用事件双重积分作为基于模型的额外先验。此外，我们使用端到端可学习的响应函数对事件像素响应进行建模，使我们的方法能够适应真实事件相机传感器中的非理想性。我们在合成和真实数据上表明，所提出的方法分别比仅使用帧以及结合帧和事件的去模糊 NeRF 方法高出 +6.13dB 和 +2.48dB。
引用
@article{arxiv.2403.19780,
title = {Mitigating Motion Blur in Neural Radiance Fields with Events and Frames},
author = {Marco Cannici and Davide Scaramuzza},
journal= {arXiv preprint arXiv:2403.19780},
year = {2024}
}
备注
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2024