结合内外约束的视频卷帘快门展开
计算机视觉与模式识别
2022-07-26 v1
摘要
卷帘快门（RS）相机获取的视频会产生空间失真帧，在相机/场景快速运动时失真显著。消除 RS 效应有时被视作空间问题，即需对物体进行校正/位移以生成正确的全局快门（GS）帧。然而，RS 效应的成因本质上是时间性的而非空间性的。本文提出 RS 问题的时空解决方案。我们观察到，尽管 xy 帧差异严重，RS 视频与其对应 GS 视频往往共享完全相同的 xt 切片——至多存在一个已知的子帧时间偏移。此外，尽管各视频内部存在强时间混叠，它们共享相同的小 2D xt 块分布。这允许利用 RS 输入视频所施加的视频特定约束来约束 GS 输出视频。我们的算法由三个主要组件构成：(i) 使用现成方法（在常规视频序列上训练）在连续 RS 帧间进行稠密时间上采样，从中提取 GS“提议”；(ii) 使用专用 MergeNet 学习正确合并此类 GS“提议”集合；(iii) 视频特定的零样本优化，强制 GS 输出视频与 RS 输入视频间 xt 块的相似性。我们的方法在基准数据集上取得 SOTA 结果（数值与视觉均优），尽管仅在小型合成 RS/GS 数据集上训练。此外，它对训练集分布之外的运动类型（如复杂非刚性运动）的新复杂 RS 视频泛化良好——那些用更多数据训练的竞争方法无法很好处理。我们将这些泛化能力归因于外部与内部约束的结合。
引用
@article{arxiv.2207.11725,
title = {Combining Internal and External Constraints for Unrolling Shutter in Videos},
author = {Eyal Naor and Itai Antebi and Shai Bagon and Michal Irani},
journal= {arXiv preprint arXiv:2207.11725},
year = {2022}
}
备注
Accepted to ECCV 2022