EventSR：基于端到端对抗学习从异步事件到图像重建、复原与超分辨率

事件相机感知强度变化，相较传统相机具有诸多优势。为利用事件相机，已有一些方法被提出从事件流重建强度图像。然而，其输出仍为低分辨率（LR）、含噪且不真实。低质量输出限制了事件相机的更广泛应用，而此类应用既需要高时间分辨率、动态范围和无运动模糊，也需要高空间分辨率（HR）。我们考虑从 LR 事件重建并超分辨强度图像的问题，且无可用的真实高分辨率（HR）图像与下采样核。为应对挑战，我们提出一种新颖的端到端流水线，从事件流重建 LR 图像、增强图像质量并对增强后图像上采样，称为 EventSR。因缺乏真实 GT 图像，我们的方法主要为无监督，采用对抗学习。为训练 EventSR，我们创建了一个包含真实世界与仿真场景的开放数据集。两类数据集的使用提升了网络性能，各阶段的网络架构与多种损失函数有助于改善图像质量。整个流水线分三阶段训练。尽管每阶段主要针对三项任务之一，但早期阶段的网络以端到端方式通过相应损失函数微调。实验结果表明，EventSR 对仿真与真实数据均能从事件重建高质量 SR 图像。