用于运动去模糊的可变形卷积与基于LSTM的灵活事件帧融合网络

事件相机与传统RGB相机的不同之处在于它们产生异步数据序列。RGB相机以固定速率捕获每一帧，而事件相机仅捕获场景中的变化，导致稀疏且异步的数据输出。尽管事件数据携带了可用于RGB相机运动去模糊的有用信息，但整合事件与图像信息仍然是一个挑战。近期基于CNN的最先进去模糊解决方案基于一段时间内事件数据的累积生成多个二维事件帧。然而，在大多数这些技术中，事件帧的数量是固定且预定义的，这极大地降低了时间分辨率，特别是在存在快速移动物体或需要较长曝光时间的场景中。同样需要注意的是，现代相机（例如手机中的相机）会动态设置图像的曝光时间，这为为固定数量事件帧开发的网络带来了额外的问题。为应对这些挑战，我们开发了一个基于长短期记忆网络的事件特征提取模块，该模块使我们能够使用动态变化数量的事件帧。利用这些模块，我们构建了一个最先进的去模糊网络，即可变形卷积与基于LSTM的灵活事件帧融合网络。它特别适用于曝光时间因光照条件或场景中存在快速移动物体等因素而变化的场景。评估结果表明，所提出的方法在合成和真实数据集上的去模糊任务中优于现有的最先进网络。