事件引导的未知曝光时间视频去模糊

运动去模糊是一个高度不适定问题，因为模糊退化过程中丢失了运动信息。由于事件相机能以高时间分辨率捕捉表观运动，若干尝试已探索了利用事件引导去模糊的潜力。这些方法通常假设曝光时间等于视频帧率的倒数。然而，真实情况并非如此，曝光时间可能未知并随视频拍摄环境（如光照条件）动态变化。本文中，我们研究在基于帧的相机曝光时间动态未知且可变的前提下进行事件引导运动去模糊。为此，我们首先通过在视频帧采集过程中考虑曝光与读出时间，推导出事件引导运动去模糊的新公式。随后，我们提出一种新颖的端到端学习框架用于事件引导运动去模糊。特别地，我们设计了新颖的基于曝光时间的事件选择（ETES）模块，通过估计来自模糊帧与事件的特征之间的跨模态相关性来选择性利用事件特征。此外，我们提出一个特征融合模块以有效融合来自事件与模糊帧的所选特征。我们在多个数据集上进行了广泛实验，并证明我们的方法达到了最先进的性能。