基于事件的多时间粒度融合运动去模糊

传统的基于帧的相机由于曝光期间的运动不可避免地会产生模糊效果。事件相机是一种仿生传感器，提供连续的视觉信息，可以增强去模糊性能。有效利用高时间分辨率的事件数据对于提取精确的运动信息和提升去模糊性能至关重要。然而，现有的事件相机图像去模糊方法通常使用基于体素的事件表示，丢失了快速运动去模糊在数学上必需的细粒度时间细节。在本文中，我们首次将基于点云的事件表示引入图像去模糊任务，并提出了多时间粒度网络（MTGNet）。它结合了空间密集但时间粗粒度的基于体素的事件表示和时间细粒度但空间稀疏的基于点云的事件表示。为了无缝集成这些互补的表示，我们设计了一个细粒度点分支。提出了一个聚合与映射模块（AMM）来将低层点特征与帧特征对齐，并设计了一个自适应特征扩散模块（AFDM）来通过丰富稀疏点特征来管理事件数据与图像数据之间的分辨率差异。广泛的主观和客观评估表明，我们的方法在合成和真实世界数据集上均优于当前最先进的方法。