DaBiT:基于深度与模糊信息的Transformer用于视频焦点去模糊
计算机视觉与模式识别
2025-07-10 v3
摘要
在许多实际场景中,录制的视频会遭遇意外的焦点模糊,而视频去模糊方法大多针对运动模糊或空间不变模糊。本文引入一个针对尚未尝试的视频焦点去模糊(即重新聚焦)任务优化的框架。该方法采用新颖的映射引导Transformer,以及图像传播,有效利用焦点模糊的连续空间方差,恢复影片。我们还引入了流动重新聚焦模块,用于高效对齐模糊域和清晰域之间的相关特征。此外,我们提出了一种新颖的合成焦点模糊数据生成技术,拓宽模型的学习能力和鲁棒性,涵盖更广泛的内容。我们提供了新的基准数据集DAVIS-Blur。该数据集是对流行的DAVIS视频分割数据的修改扩展,提供了真实的焦点模糊退化及其对应的模糊图。全面实验表明,我们的方法优于现有的视频恢复方法,平均PSNR性能高出1.9dB。我们的源代码和开发的数据集将在https://github.com/crispianm/DaBiT 上提供。
引用
@article{arxiv.2407.01230,
title = {DaBiT: Depth and Blur informed Transformer for Video Focal Deblurring},
author = {Crispian Morris and Nantheera Anantrasirichai and Fan Zhang and David Bull},
journal= {arXiv preprint arXiv:2407.01230},
year = {2025}
}