用于卷帘快门校正的深度网络
计算机视觉与模式识别
2021-12-14 v1
摘要
CMOS传感器在成像场景时采用逐行采集机制，这会在所捕获图像中导致称为卷帘快门（RS）畸变的不良运动伪影。现有的单图像RS校正方法试图通过以下方式解释这些畸变：要么使用为特定场景类别定制的算法（需要内禀相机参数信息），要么使用具有已知真实运动参数的基于学习的框架。在本文中，我们提出了一种端到端深度神经网络，用于具有挑战性的单图像RS校正任务。我们的网络由一个运动块、一个轨迹模块、一个行块、一个RS校正模块和一个RS再生模块（仅在训练期间使用）组成。运动块预测输入RS畸变图像每一行的相机位姿，而轨迹模块将估计的运动参数拟合为三阶多项式。行块预测必须与目标（即RS校正后图像）中每个像素相关联的相机运动。最后，RS校正模块利用运动轨迹与行块的输出对输入RS图像进行扭曲以获得无畸变图像。为在训练期间更快收敛，我们额外使用了一个RS再生模块，将输入RS图像与由估计运动参数畸变的真实图像进行比较。我们模型中的端到端公式不将估计运动约束于真实运动参数，从而成功校正具有复杂真实相机运动的RS图像。在合成与真实数据集上的实验表明，我们的网络在定性与定量上均优于先前方法。
引用
@article{arxiv.2112.06170,
title = {Deep network for rolling shutter rectification},
author = {Praveen K and Lokesh Kumar T and A. N. Rajagopalan},
journal= {arXiv preprint arXiv:2112.06170},
year = {2021}
}