利用双反向畸变使卷帘快门图像恢复为全局快门帧
计算机视觉与模式识别
2022-07-21 v3
摘要
卷帘快门（RS）畸变可解释为在RS相机曝光期间，从随时间变化的瞬时全局快门（GS）帧中逐行选取像素的结果。这意味着每个瞬时GS帧的信息被部分且顺序地嵌入到依赖于行位置的畸变中。受此启发，我们致力于解决这一过程的逆问题，即从遭受RS畸变的图片中提取无畸变的GS帧。然而，由于RS畸变与读出设置以及场景元素相对于相机的相对速度等其他因素耦合，仅利用时间相邻图像间几何相关性的模型在处理具有不同读出设置的动态场景（同时存在相机运动和物体运动）时泛化能力较差。本文中，我们提出利用一对由具有相反RS方向的双RS相机捕获的图像来完成这一极具挑战性的任务，而非使用两帧连续图像。基于双反向畸变的对称与互补特性，我们开发了新颖的端到端模型IFED，通过在RS时间内对速度场进行迭代学习来生成双光流序列。大量实验结果表明，IFED优于朴素级联方案以及利用相邻RS图像的现有最优方法。最重要的是，尽管IFED在合成数据集上训练，其仍能有效从真实世界动态场景的RS畸变图像中恢复GS帧序列。代码见 https://github.com/zzh-tech/Dual-Reversed-RS。
引用
@article{arxiv.2203.06451,
title = {Bringing Rolling Shutter Images Alive with Dual Reversed Distortion},
author = {Zhihang Zhong and Mingdeng Cao and Xiao Sun and Zhirong Wu and Zhongyi Zhou and Yinqiang Zheng and Stephen Lin and Imari Sato},
journal= {arXiv preprint arXiv:2203.06451},
year = {2022}
}
备注
ECCV2022 Oral