IMU辅助的单视图卷帘快门校正学习
计算机视觉与模式识别
2021-09-15 v2
摘要
卷帘快门畸变对于摄影和计算机视觉算法（例如视觉SLAM）极为不利，因为像素可能在不同时间和位姿下被捕获。在本文中，我们提出一个深度神经网络，从单幅图像预测深度和逐行位姿以进行卷帘快门校正。我们本工作的贡献在于将惯性测量单元（IMU）数据引入位姿细化过程，与当前最优方法相比，极大提升了位姿预测。精度和鲁棒性的提升使得众多视觉算法能够使用卷帘快门相机拍摄的图像并产生高度准确的结果。我们还扩展了一个数据集，使其具备真实的卷帘快门图像、IMU数据、深度图、相机位姿以及对应的全局快门图像，用于卷帘快门校正训练。我们通过评估Direct Sparse Odometry（DSO）算法在使用所提方法校正的卷帘快门图像上的性能来展示该方法的有效性。结果表明，与使用未校正图像相比，DSO算法有显著改进，验证了所提方法。
引用
@article{arxiv.2011.03106,
title = {IMU-Assisted Learning of Single-View Rolling Shutter Correction},
author = {Jiawei Mo and Md Jahidul Islam and Junaed Sattar},
journal= {arXiv preprint arXiv:2011.03106},
year = {2021}
}