DeepOIS：陀螺仪引导的深度光学图像稳定器补偿
计算机视觉与模式识别
2023-07-06 v2
摘要
移动设备拍摄的图像可利用其陀螺仪传感器进行对齐。光学图像稳定器（OIS）在拍摄过程中对图像进行调整，从而终止了这种可能性。在本工作中，我们提出一个深度网络来补偿由 OIS 引起的运动，使得陀螺仪可用于 OIS 相机上的图像对齐。为此，首先，我们使用 OIS 相机记录视频与陀螺仪数据作为训练数据，并将陀螺仪读数转换为运动场。其次，我们提出一种用于卷帘快门相机的 Fundamental Mixtures 运动模型，其中提取帧内一组旋转作为真值引导。第三，我们训练一个以陀螺仪运动为输入的卷积神经网络来补偿 OIS 运动。完成后，该补偿网络可应用于其他场景，其中图像对齐纯粹基于陀螺仪而无需图像内容，具有强鲁棒性。实验表明，我们的结果与非 OIS 相机相当，并以较大优势优于基于图像的对齐结果。代码与数据集可在 https://github.com/lhaippp/DeepOIS 获取。
引用
@article{arxiv.2101.11183,
title = {DeepOIS: Gyroscope-Guided Deep Optical Image Stabilizer Compensation},
author = {Haipeng Li and Shuaicheng Liu and Jue Wang},
journal= {arXiv preprint arXiv:2101.11183},
year = {2023}
}