面向卷帘快门相机的上下文感知视频重建
计算机视觉与模式识别
2022-05-26 v1
摘要
随着卷帘快门（RS）相机的普及，从两帧连续的 RS 帧恢复潜在的全局快门（GS）视频日益具有吸引力，这也对真实感提出了更高要求。现有基于深度神经网络或优化的方案取得了可喜性能。然而，这些方法基于 RS 模型通过图像扭曲生成中间 GS 帧，不可避免地导致黑孔和明显的运动伪影。本文中，我们通过提出一种上下文感知的 GS 视频重建架构来缓解这些问题。它利用了遮挡推理、运动补偿和时间抽象等优势。具体而言，我们首先估计双边运动场，从而将两帧 RS 帧的像素相应地扭曲到一个共同的 GS 帧。然后，提出一种细化方案，结合双边遮挡掩码引导 GS 帧合成，在任意时刻生成高保真 GS 视频帧。此外，我们推导了一个近似的双边运动场模型，可作为替代方案为相关任务提供简单而有效的 GS 帧初始化。在合成与真实数据上的实验表明，我们的方法在客观指标和主观视觉质量上均优于最先进的方法。代码见 \url{https://github.com/GitCVfb/CVR}。
引用
@article{arxiv.2205.12912,
title = {Context-Aware Video Reconstruction for Rolling Shutter Cameras},
author = {Bin Fan and Yuchao Dai and Zhiyuan Zhang and Qi Liu and Mingyi He},
journal= {arXiv preprint arXiv:2205.12912},
year = {2022}
}
备注
Accepted to IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022)