CMTA：基于事件引导的视频去运动模糊的跨模态时间对齐

视频去运动模糊旨在通过有效收集相邻视频帧的信息来增强运动模糊视频的恢复质量，以弥补单个模糊帧中数据不足的问题。然而，在面对连续严重运动模糊情况时，基于帧的视频去模糊方法往往难以在相邻视频帧之间找到准确的时序对应关系，导致性能下降。为此，我们提出利用事件相机（具有微秒级时序分辨率）来解决视频去模糊任务，以充分利用事件相机的稠密时序分辨率，我们提出了两个模块：1）帧内特征增强在单个模糊帧的曝光时间内工作，以循环方式迭代增强跨模态特征，更好地利用事件的丰富时序信息；2）帧间时序特征对齐收集有价值的长程时序信息，针对目标帧聚合锐利特征，利用事件的优势。此外，我们构建了一个新型数据集，包含真实世界的模糊 RGB 视频、对应的锐利视频以及事件数据。该数据集为评估事件引导去模糊方法提供了宝贵资源。我们通过在合成和真实世界去模糊数据集上的大量实验，证明我们的方法在帧基和事件基运动去模糊方法中均优于最先进的技术。代码和数据集均可在 https://github.com/intelpro/CMTA 获取。