陀螺仪辅助运动去模糊网络
计算机视觉与模式识别
2024-02-13 v1 图形学
机器学习
摘要
近年来，图像研究领域对去模糊网络给予了极大关注。然而，由于缺乏像素对齐的训练三元组（背景、模糊图像和模糊热图）以及模糊图像本身信息的局限性，其在现实世界去模糊（尤其是运动模糊）中的实际应用仍然受限。本文提出了一种简单而高效的框架，利用惯性测量单元（IMU）数据来合成并恢复运动模糊图像。值得注意的是，该框架包含一种训练三元组生成策略，以及一个用于模糊图像恢复的陀螺仪辅助运动去模糊（GAMD）网络。其基本原理是：通过利用 IMU 数据，我们可以确定图像曝光期间相机姿态的变换，从而推导出三维空间内每个点的运动轨迹（即模糊轨迹）。因此，利用我们策略合成的三元组在本质上接近自然运动模糊，严格像素对齐，且可大规模生产。通过综合实验，我们证明了所提框架的优势：我们的合成模糊轨迹与现实世界模糊轨迹之间仅有两个像素的误差，且将最先进的去模糊方法 MIMO 的峰值信噪比（PSNR）显著提高了约 33.17%。
引用
@article{arxiv.2402.06854,
title = {Gyroscope-Assisted Motion Deblurring Network},
author = {Simin Luan and Cong Yang and Zeyd Boukhers and Xue Qin and Dongfeng Cheng and Wei Sui and Zhijun Li},
journal= {arXiv preprint arXiv:2402.06854},
year = {2024}
}