EVDI++: 基于自监督学习的事件视频去模糊与插帧

基于延长曝光时间的帧式相机常会产生显著的视觉模糊和信息丢失，显著ly降低视频质量。为解决这一挑战，我们提出EVDI++，一个统一的自监督框架，用于事件视频去模糊与插帧，利用事件相机的高时间分辨率来减轻运动模糊并实现中间帧预测。具体而言，设计了可学习双积分（LDI）网络，用于估计参考帧与锐利潜在图像之间的映射关系。随后，我们引入基于学习的分割重建模块，以优化粗糙结果并提升整体训练效率，实现不同曝光间隔的图像转换。我们构思了自适应无参数融合策略，以利用LDI输出中嵌入的置信度获得最终结果。提出了自监督学习框架，通过探索模糊帧、潜在图像和事件流之间的相互约束，使网络能够使用真实世界的模糊视频和事件进行训练。我们进一步使用DAVIS346c相机构建了一个包含真实世界模糊图像和事件的数据集，展示了EVDI++在真实场景中泛化性。在合成和真实世界数据集上的大量实验表明，我们的方法在视频去模糊和插帧任务中实现了最先进的性能。