TimeReplayer：释放事件相机在视频插值中的潜力

以高 FPS（每秒帧数）记录快速运动需要昂贵的高速相机。作为替代方案，从商用相机插值低 FPS 视频已引起显著关注。如果仅有低 FPS 视频可用，则必须借助运动假设（线性或二次）来推断中间帧，而这无法建模复杂运动。事件相机是一种新型相机，其像素以 $\mu s$ $(10^{-6}$ 秒 $)$ 的时间分辨率产生亮度变化事件，是在任意复杂运动存在下实现视频插值的改变游戏规则的设备。由于事件相机是一种新型传感器，其潜力因缺乏处理算法而未得到发挥。开创性工作 Time Lens 通过将事件相机引入视频插值，设计光学设备来收集大量高速帧与事件的配对训练数据，但这种方法成本过高难以扩展。为充分释放事件相机的潜力，本文提出一种新颖的 TimeReplayer 算法，利用事件插值由商用相机捕获的视频。它以无监督循环一致风格训练，取消了高速训练数据的必要性，并带来了视频外推的额外能力。其最先进的结果和补充材料中的演示视频揭示了基于事件的视觉的美好前景。