神经全局快门：从具有全局复位特征的卷帘快门相机学习恢复视频

大多数计算机视觉系统假设输入为无失真图像。然而，广泛使用的卷帘快门（RS）图像传感器在拍摄时相机与物体发生运动的情况下会产生几何失真。已有大量研究致力于校正 RS 失真，但现有工作大多严重依赖场景或运动的先验假设。此外，由于繁重的光流扭曲，运动估计步骤要么被过度简化，要么计算低效，限制了其适用性。本文研究利用具有全局复位特征（RSGR）的卷帘快门来恢复干净的全局快门（GS）视频。该特征使我们可以将校正问题转化为类去模糊问题，从而摆脱不准确且昂贵的显式运动估计。首先，我们搭建了一个捕获配对 RSGR/GS 视频的光学系统。其次，我们开发了一种结合空间与时间设计的新型算法来校正空间变化的 RSGR 失真。第三，我们证明现有的图像到图像翻译算法可从失真的 RSGR 输入恢复干净的 GS 视频，而我们的算法凭借特定设计取得了最佳性能。我们的渲染结果不仅视觉上令人满意，也有利于下游任务。与最先进的 RS 方案相比，我们的 RSGR 方案在效果与效率上均更优。考虑到其无需改变硬件即可轻松实现，我们相信 RSGR 方案有望以低噪声、低成本的代价取代 RS 方案拍摄无失真视频。