深度 Lidar 引导图像去模糊
计算机视觉与模式识别
2024-12-11 v1 图像与视频处理
摘要
便携式 Lidar 仪器（包括其在智能手机中的采用）的兴起，为新型计算成像技术开辟了道路。作为一种主动传感仪器，Lidar 可以为被动光学传感器提供互补数据，特别是在运动模糊会影响照片的低光成像等场景中。在本文中，我们研究了移动 Lidar 传感器提供的深度信息是否对图像去模糊任务有用，以及如何将其与一种将任何最先进的神经去模糊模型转换为深度感知模型的通用方法相结合。为此，我们开发了一种通用适配器结构，能够高效地预处理深度信息以用深度特征调制图像特征。此外，我们对预训练的编码器-解码器模型应用了持续学习策略，使其能够以最少的额外数据需求将深度信息作为额外输入加以整合。我们证明，利用真实深度信息可以显著提升去模糊算法的有效性，这在一个由智能手机 Lidar 采集真实世界深度数据的数据集上得到了验证。
引用
@article{arxiv.2412.07262,
title = {Deep Lidar-guided Image Deblurring},
author = {Ziyao Yi and Diego Valsesia and Tiziano Bianchi and Enrico Magli},
journal= {arXiv preprint arXiv:2412.07262},
year = {2024}
}