面向真实世界卷帘快门校正的学习自适应扭曲方法
计算机视觉与模式识别
2022-05-02 v1
摘要
本文提出了首个真实世界卷帘快门(RS)校正数据集 BS-RSC，以及一种用于校正失真视频中 RS 帧的相应模型。消费市场中带有基于 CMOS 传感器的移动设备在视频采集过程中发生相对运动时，常产生卷帘快门效应，亟需 RS 效应去除技术。然而，当前最先进的 RS 校正方法常因运动多样且难以建模而在真实场景中失效。为解决此问题，我们提出了真实世界 RS 校正数据集 BS-RSC。通过精心设计的基于分束器的采集系统，同时记录真实的失真视频及对应真值。BS-RSC 包含动态场景中相机与物体的多种运动。此外，提出了一种带自适应扭曲的 RS 校正模型。我们的模型可利用预测的多位移场将学习到的 RS 特征自适应地扭曲为全局快门对应特征。这些扭曲后的特征被聚合，并以由粗到精的策略重建为高质量全局快门帧。实验结果证明了所提方法的有效性，且我们的数据集能提升模型在真实世界中去除 RS 效应的能力。
引用
@article{arxiv.2204.13886,
title = {Learning Adaptive Warping for Real-World Rolling Shutter Correction},
author = {Mingdeng Cao and Zhihang Zhong and Jiahao Wang and Yinqiang Zheng and Yujiu Yang},
journal= {arXiv preprint arXiv:2204.13886},
year = {2022}
}
备注
To appear in CVPR2022