增强的基于帧与事件的模拟器及基于事件的视频插值网络

快速的神经形态基于事件的视觉传感器(动态视觉传感器, DVS)可与较慢的传统基于帧的传感器结合，从而实现比依赖固定运动近似(例如使用光流)的传统方法更高质量的帧间插值。本工作中，我们提出一种新的先进事件模拟器，能够生成由位于固定偏移处的任意数量传感器组成的相机阵列所记录的真实场景。它包含一个新的可配置基于帧的图像传感器模型(具有真实的图像质量退化效应)，以及一个具有更精确特性的扩展DVS模型。我们利用该模拟器训练一个专为端到端高帧率视频重建设计的新重建模型。与已发表的方法不同，我们的方法不要求帧与DVS相机具有相同的光学系统、位置或相机分辨率，也不限于距传感器固定距离的物体。我们表明，由我们的模拟器生成的数据可用于训练新模型，在公开数据集上重建图像质量达到或优于当前最优(state of the art)。我们还展示我们的传感器可泛化到由真实传感器记录的数据。