面向非线性运动感知与遮挡鲁棒性的卷帘快门校正
计算机视觉与模式识别
2023-08-16 v3
摘要
本文解决复杂非线性动态场景与极端遮挡下的卷帘快门校正问题。现有方法存在两个主要缺陷。首先，由于均匀速度假设，它们在估计精确校正场时面临挑战，导致复杂运动下显著的图像校正误差。其次，动态场景中的剧烈遮挡因多帧对齐与聚合的固有困难，阻碍当前方案获得更优图像质量。为应对这些挑战，我们解析建模像素的曲线轨迹，并提出基于几何的二次卷帘快门（QRS）运动求解器，可精确估计各像素的高阶校正场。此外，为重建动态场景中的高质量遮挡帧，我们提出一种有效对齐与聚合多帧上下文的3D视频架构，即RSA2-Net。我们在广泛相机与视频序列上评估了该方法，证明其显著优越性。具体而言，我们的方法在Carla-RS、Fastec-RS与BS-RSC数据集上分别以PSNR超越最先进水平+4.98、+0.77与+4.33。代码见 https://github.com/DelinQu/qrsc。
引用
@article{arxiv.2303.18125,
title = {Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction},
author = {Delin Qu and Yizhen Lao and Zhigang Wang and Dong Wang and Bin Zhao and Xuelong Li},
journal= {arXiv preprint arXiv:2303.18125},
year = {2023}
}
备注
accepted at ICCV 2023