面向现实场景的事件导向低光视频增强与去模糊

在低光条件下，使用帧基相机捕获视频通常需要较长的曝光时间，导致运动模糊和可见性降低。虽然已研究了帧基运动去模糊和低光增强，但仍面临显著挑战。事件相机因其在低光环境下的图像质量提升以及解决运动模糊的问题而成为一个有前景的解决方案。它们提供了两个关键优势：即使在低光条件下也能良好捕获场景细节（因其高动态范围），以及在长曝光期间有效捕获运动信息（因其高时间分辨率）。尽管已有工作分别针对低光增强和运动去模糊，但尚未同时解决这两个问题。为了探索联合任务，本文首先基于光束分离器构建混合相机系统，建立现实世界数据集用于事件导向的低光增强与去模糊。随后，我们引入一个端到端框架来有效处理这些任务。该框架包含一个高效利用事件和帧的时序信息的模块。此外，我们提出一个模块，利用跨模态特征信息，以低通滤波器抑制噪声的同时增强主结构信息。我们的方法在解决联合任务方面显著优于现有方法。项目页面已公开 https://github.com/intelpro/ELEDNet。