卷帘快门反演：将卷帘快门图像转为高帧率全局快门视频

单张卷帘快门（RS）图像可视为在曝光时间内由（虚拟）运动全局快门（GS）相机捕获的一系列 GS 图像按行组合而成。尽管 RS 相机被广泛使用，RS 效应会导致明显的图像畸变，尤其在相机快速运动时，阻碍下游计算机视觉任务。本文中，我们提出反演 RS 图像捕获机制，即从两帧时间连续的 RS 帧恢复连续的髙帧率 GS 视频。我们称此任务为 RS 时间超分辨率（RSSR）问题。RSSR 是一项极具挑战的任务，据我们所知，迄今尚无实用解法。本文提出一种基于深度学习的新颖方案。通过利用 RS 成像过程的多视图几何关系，我们的基于学习的框架成功实现高帧率 GS 生成。具体而言，有三点新颖贡献：（i）在恒定速度与恒定加速度运动模型下的双向 RS 去畸变流的新颖公式。（ii）一个简单线性缩放操作，桥接 RS 去畸变流与常规光流。（iii）对应于不同扫描行的变化 RS 去畸变流之间的新互转换方案。我们的方法还在深度学习框架内挖掘潜在的时空几何关系，除必要的中间扫描行 GS 图像外无需额外监督。基于这些贡献，我们提出了首个能从仅两帧 RS 帧恢复高帧率 GS 视频的卷帘快门时间超分辨率深度网络。在合成与真实数据上的大量实验结果表明，我们所提方法能生成细节丰富的高质量 GS 图像序列，优于当前最优方法。